Cloudflare 与 OpenAI 公布 AI 发现试点早期结果：用网络侧信号帮 ChatGPT 找到更多网页

Cloudflare 与 OpenAI 在 2026 年 10 月 15 日公布了双方自 7 月启动的 AI 发现研究试点的早期结果。试点让 Cloudflare 提供网络侧信号，帮助 OpenAI 的搜索爬虫发现更多此前未被索引的页面，官方称参与范围约占 Cloudflare 全网百分之一。文章同时说明三类信号的作用、站点侧的访问控制入口，并强调这项研究用的是网页元数据而非页面正文。

这次发布的是什么

Cloudflare 与 OpenAI 在 2026 年 10 月 15 日联合发文，公布了双方「AI 发现」研究试点的早期结果。这个试点从 2026 年 7 月启动，想回答的问题是：Cloudflare 网络侧的信号，能不能帮助 ChatGPT 用户更高效地发现新内容。官方给出的初步答案是肯定的，并说明试点已把此前未知的页面带进了 OpenAI 的搜索索引。

需要说明的是，这次不是新产品发布，而是一份阶段性研究通报。文章作者来自两家公司（Cloudflare 的 Matthew Conroy、Jack Galilee，OpenAI 的 Henry Aspegren、James Balfour），内容以「我们学到了什么」为主，包含机制说明与后续计划。

分工上，Cloudflare 提供网络侧信号，帮助 OpenAI 的搜索爬虫在更大的范围里发现可能有用的页面；OpenAI 则独立评估与排序这些页面如何呈现。官方称参与试点的规模约占 Cloudflare 全网的百分之一。

可用性与限制

• 试点性质：官方把它定位为研究试点，公布的是早期结果，不代表最终方案。
• 参与范围：官方称试点使用约占 Cloudflare 全网百分之一的参与群体，不是全量流量。
• 效果说明：官方称已带来大量此前未知的页面进入 OpenAI 搜索索引，具体规模与增长口径以官方博客为准。
• 排序独立：页面被发现后，是否呈现、如何排序由 OpenAI 独立评估，不由 Cloudflare 决定。
• 权限边界：官方明确说明，关于某个页面的信号不等于授予访问该页面的权限。
• 数据用途：官方称这项研究使用的是关于网页的元数据，用于搜索与发现，而不是把页面正文共享给模型训练。
• 站点侧控制：站点所有者可通过 Cloudflare 的 AI Crawl Control 了解与管理 AI 系统访问站点的方式。
• 费用与门槛：相关功能的可用套餐与计费以 Cloudflare 官方页面为准，本文不列写具体价格。

主要功能

• 无效页面过滤：识别被反复请求但并不存在的文件地址，减少无效抓取
• 跳转识别：识别把任意地址重定向到首页的站点形态，避免重复抓取同一内容
• 重复内容识别：识别指向同一内容副本的地址，降低重复抓取开销
• 变更信号：提示某个页面是否值得再次访问，减少未变更页面的重复下载
• 可疑页面标记：正在测试标记潜在有害页面的信号，官方举例为单个被植入的伪造登录页
• 站点侧管控：通过 AI Crawl Control 管理 AI 系统对站点的访问方式

技术原理

这套机制的关键在于「先判断值不值得抓，再抓」。官方在文章里列了几类他们学到的模式：爬虫会反复请求并不存在的文件；有些站点会把几乎任意地址重定向到首页；还有些地址指向同一份内容的副本。识别出这些模式之后，就能在爬虫真正发起请求之前把无效工作砍掉。

变更信号解决的是另一半问题。官方的说法是，靠「更频繁地把每个页面都抓一遍」来保持新鲜度对谁都贵：对站点方来说，反复下载一个未变更的页面只增加负载、不带来收益；对 OpenAI 来说，抓取资源被浪费在没有新增信息的页面上。变更信号的作用就是告诉爬虫哪些页面值得再看一次、哪些不必。

可疑页面标记则更细粒度。官方举的例子是：一个正常站点可能只有某一个页面被攻击者植入了伪造登录表单；只标记这一个页面、而不是整个域名，可以在不牵连站点所有者的前提下降低风险。官方称早期结果显示这类信号有助于识别应被排除在索引之外的页面。

官方也点出了一个平衡问题：发现新页面在初期反而会增加抓取量，因为这些页面要先被评估与索引；目标是在持续发现与减少无效工作之间取平衡。

实际体验

这篇不提供第一人称实测，只给出读者可以自己复现的观察方式。

第一步先确认自己的站点处在什么状态。站点所有者可以登录 Cloudflare 后台查看 AI 爬虫相关的访问情况，先弄清有哪些 AI 系统来过、访问了哪些路径，再谈优化。

第二步检查无效路径。查看访问日志里被反复请求但返回不存在的地址，以及是否存在把任意地址重定向到首页的规则。这两类正是官方点名的浪费来源，修掉它们对减少无效抓取最直接。

第三步核对内容副本。如果同一份内容存在多个可访问地址，确认规范化链接是否设置正确；这一项同时影响传统搜索与 AI 发现的判断。

第四步确认管控设置。按自身诉求在 AI Crawl Control 里设定允许与拒绝，并保留一份记录；官方明确说信号本身不等于访问权限，所以不要默认「被标记就等于被抓取」。

项目地址与获取方式

官方公告页：https://blog.cloudflare.com/cloudflare-openai-discovery-agentic-web/

站点侧管理入口：官方称可通过 Cloudflare 的 AI Crawl Control 管理 AI 系统对站点的访问，具体入口与可用套餐以 Cloudflare 官方页面为准。

请通过官方渠道登录与配置，不要使用第三方转述里给出的可疑链接。

适合谁用

• 有内容站的站长与运营：这套信号直接关系到页面能否被 AI 系统发现
• 做搜索可见性与内容分发的市场人员：变更信号与规范化会影响内容被发现的效率
• 负责站点性能与带宽成本的工程师：减少无效抓取直接对应服务器负载
• 关心内容是否被用于模型训练的权利方：官方已说明这项研究用元数据而非页面正文
• 不必关注的人：站点不对外公开、或明确不希望被 AI 系统索引的，重点应放在访问控制上

常见问题

这是不是意味着 Cloudflare 把我的网页内容给了 OpenAI 训练模型？

官方明确否定了这一层：文章写明这项研究使用的是关于网页的元数据，用于搜索与发现，而不是把页面正文共享出去用于模型训练。是否允许抓取仍由站点所有者决定。

我的站点会被自动加入试点吗？

官方称试点使用的是约占 Cloudflare 全网百分之一的参与群体。具体是否参与、如何退出，以 Cloudflare 官方页面与后台设置为准。

页面被发现就一定会被 ChatGPT 引用吗？

不一定。官方说明分工是 Cloudflare 提供发现信号，OpenAI 独立评估与排序页面如何呈现，两者不是同一件事。

被标记为可疑会连累整个域名吗？

官方举的例子正是为了避免这一点：他们强调可以只标记单个被植入的页面，而不是整个域名，以免牵连站点所有者。不过这部分仍在测试阶段。

站点方现在能做什么？

官方给出的入口是 Cloudflare 的 AI Crawl Control，用于了解与管理 AI 系统访问站点的方式。此外修掉无效路径、跳转规则与内容副本，对减少无效抓取有直接作用。

相关工具与内容

• 分类：AI 搜索、AI 办公、其他 AI 工具
• 工具页：Perplexity、秘塔 AI 搜索、夸克、腾讯ima
• 同题材快讯：Cloudflare 推出 Web Search API
• 延伸阅读：Cloudflare 发布 Clef-omni 多模态决策模型