📖 🤖在互联网历史的大部分时间里，只有一个群体作为真实受众存在：人类。绝大多数大型自动化程序，不会观看广告、支付任何费用，也不会进行任何有意义的阅读。 🤖这种情
- 序号：055
- 星球链接：打开网页
- 附件：图片 0，音频 0，文档 0
- 音频文件：无音频
图片
无图片
正文
📖
🤖在互联网历史的大部分时间里，只有一个群体作为真实受众存在：人类。绝大多数大型自动化程序，不会观看广告、支付任何费用，也不会进行任何有意义的阅读。 🤖这种情况正在改变。2024 年底，Cloudflare 平均每秒处理 630 万次 HTTP 请求。如今，这个数字翻了一番，达到每秒 1250 万次，峰值超过 1500 万次。在过去增长的一年里，我们网络上全自动互联网流量（AI 机器人）的每秒请求增长超过了 100%。 🤖人类互联网并没有为了腾出空间而缩小。与此同时，第二个受众群体出现：代理（agents），即代表人类行事的软件。它们介于人类和传统机器人之间。它们不会看广告，但它们可以从中获取价值。对于销售线索的业务而言，代理是附加的；对于那些没能做到的业务来说，它们则是破坏性的。 🤖我们客户的需求并未改变：被发现、讲述精彩的故事、打造卓越的体验以及进行销售。改变的是，现在有两类访问者。 📈流量更多，收入更少 🤖三十年来，互联网一直遵循着一种约定：你允许搜索引擎爬虫访问你的网站，它们为你输送访问者，而你将这些访问者转化为抓取你的网站，被发现和获得报酬是同一回事。 🤖AI 阅读器读取页面的方式打破了这个平衡。现在，爬虫会读取网页内容，这消耗网站的带宽，却不会引导人类用户前往网站，广告或者付费转化都无法发生。 🤖爬虫停止访问那些被抓取内容的站点。一些被抓取最严重的类别，例如零售、计算机软件、信息技术以及金融服务，其人工流量在不到一年的时间里下降了多达 40%。 🤖其结果是，单次请求的收入在下降，而成本却在上升。每一次自动化请求都会消耗带宽、计算资源和站点容量，而这些请求不会带来新的线索、销售或订阅。 🤖我们的第一反应是拦截所有自动化流量。去年，我们建议网站所有者拦截 AI 训练爬虫。2025 年，至少可以拒绝其中 22% 用于 AI 训练。到 2026 年 6 月，这一比例已达到 52%。 🤖问题在于，对于正在构建的互联网经济而言，一味地拒绝并不是一种足够细致的处理方式。 🎯其中一部分流量是客户 🤖代理程序代为预订餐桌、比较保险报价或为研究人员购买数据集，这些都是客户。只不过它们不是人类客户。 🤖自动化流量中增长最快的部分已不再是爬虫，而是代理程序，即代表个人获取页面的软件，通常是因为人类向聊天机器人提出了某些问题。这种代理流量遵循人类的浏览规律，具有更高的概率，在看完页面后有所下单。 🤖代理程序的行为也与训练爬虫不同。训练爬虫收集您的页面是为了构建模型，代理程序则是在每次有人询问时读取内容。因此这种流量的增长取决于人类询问的次数，而非您发布内容的多少。 🤖如果一个受众群体是你看不见、无法区分、无法设定条款且无法收费的，你就无法与他们开展业务。直到最近，对于网络上绝大多数的非人类流量来说，这四点都无法实现。 👀看清真正的访问者 🤖“AI 机器人” 一词已不再具有实际意义。真正重要的是机器人的行为。Cloudflare 的 AI 爬虫控制、业务洞察、BotBase 向网站所有者展示了谁在抓取哪些统一资源定位符。 🤖机器人的名称只有在你可以信任它时才有价值。借助 Web 验证，包括 OpenAI、Google 和 AWS 在内的代理，能够对代理请求进行加密签名，因此网站无需通过 IP 地址或者用户代理字符串进行猜测，即可区分真实的代理和冒充者。 🤖我们每周观察到超过 500 亿次经过验证的机器人请求。 📜设定你的条款 🤖今年 7 月，我们将单一的拦截 AI 机器人开关替换为独立的搜索、代理和训练控制项，这些功能适用于 Cloudflare 上的所有方案，包括免费方案。数据证明了需要这种区分功能。 🤖只有不到 1% 的网站，会开启全部三项拦截。而有 17% 的网站，会拦截训练爬虫。网站所有者从未想过要禁止代理。但随着代理流量的兴起以及代理信息的新方式，他们突然能够对内容的使用方式，关于谁可以使用、如何付费以及他们想要被发现而不被滥用，制定条款。 🤖对于混合用途的爬虫来说，这尤其困难。当同一个机器人既进行搜索，又进行模型训练时，很难只拦截其中一项。 🤖Disallow AI Training 功能，能够让你告诉搜索引擎，不要使用你的数据来训练模型。Apple、Google 和其他运营商都公开承诺会遵守这一指令。 🤖现在，新的配置会根据网站的盈利模式，而非访问软件的类型，推荐配置。推荐在带有广告的页面上拦截代理，因为只有当真正人类看到广告时，广告才会产生收益。您可以随时更改这些设置。 💰获得报酬 🤖2026 年 8 月，我们将可代理网络定义为可发现、可调用且可付费的网络。 🤖2023 年，授权市场展示了需求的旺盛，也暴露了差距。自 2023 年以来，已经签署了 50 多份大型出版商与 AI 公司的协议。几乎所有协议都是大型出版商与大型 AI 公司之间定制的双边协议。这些协议，也未能覆盖大多数买家。 🤖并非每一项资产都应以同样的方式出售。高价值内容和数据集需要一个可信任的网络，在那里买家可以使用，而 MCP 工具并不适用于此。每一次请求都代表一次使用。 🤖因此，我们正在针对这两种情况进行构建。 🤖解决了直接授权无法覆盖的网站。大多数出版商永远无法与每家 AI 公司达成协议，也没有那家公司可以与数百万出版商达成协议。它不对抓取行为收费，而是在内容被实际使用时支付费用。每一位买家都会定义什么是爬虫，以及愿意为此支付多少。 🤖出版商可以看到买家何时停止为他们付费，而买家也可以看到出版商何时停止为他们提供服务。出版商收到报告，Cloudflare 会核对这些报告。 🤖出版商看到报告后，可以选择加入，并在方案不再适用时退出。出版商看到报告，就可以了解人工智能代理阅读了哪些内容，更新什么，以及为智能体提供哪些规定的内容。 🤖使用方式不会只有一种定义。引用来源的搜索引擎、引用段落的研究代理以及完成购买的商务代理，它们创造的价值各不相同。出版商可以定义不同的商业模式。 🤖，实现了从以往没有过的客户，交易的价值。变现网关追踪每一次与内容的交互，不论是 API 调用，还是智能体请求。 🤖变现网关支持按请求、按查询或者按令牌计费，并提供自定义指标，例如阅读时长、广告和你的网站可以追踪的各类事件。 🤖Cloudflare 的 AI 付费，我们在 2026 年 2 月发布，智能体作为付费方，以便在客户调用之前，发现并解决端点。 🤖出版商可以选择阻止代理访问，或者允许代理访问但设置条款。每一次请求都意味着一次使用。 🤖出版商可以设定自定义规则，在代理访问页面时，触发付费、API 调用。 🧾降低每一次请求的成本 🤖付费是解决收入流失问题的办法。但是成本仍然很高。大部分爬虫都效率低下，抓取了大量实际上不会使用的内容。人类每次点击链接，都决定了接下来要阅读什么。机器人却经常盲目地抓取大量页面，只为提取几段文字。 🤖为了尝试解决这一问题，Cloudflare 在 7 月推出了新的搜索项目。这是一个协议，能够让搜索引擎更高效地获取内容。 🤖我们与出版商合作，打造了 Cloudflare Search。这个协议，能够让搜索引擎只抓取它们需要的页面，而不是整个网站。 🤖Web 的原生抓取，机器人会抓取整个页面，即便只需要其中一小部分。借助 Web 原生抓取，出版商可以告诉机器人，网页的哪些部分可以抓取，哪些部分不能抓取。 🔚Cloudflare 的 2024 总结 🤖互联网正在进入一个全新的阶段，网站所有者终于可以控制他们的内容如何被代理和 AI 系统使用。 🤖过去，网站所有者只能被动接受爬虫的抓取，无论爬虫的目的是什么。现在，网站所有者可以区分人类访问者、搜索代理、训练爬虫，并且为每一类访问者设定不同规则。 🤖代理不只是为了提供收入，智能体本身就是客户。无论请求是简单的读取，还是大型任务中的一个步骤，它们都会为所使用的数据、API 和工具付费。 🤖这是一个全新的互联网，一个人类和智能代理共同作为受众的互联网。
总体总结
主题正文
- 在过去增长的一年里，我们网络上全自动互联网流量（AI 机器人）的每秒请求增长超过了 100%。
- 🤖三十年来，互联网一直遵循着一种约定：你允许搜索引擎爬虫访问你的网站，它们为你输送访问者，而你将这些访问者转化为抓取你的网站，被发现和获得报酬是同一回事。
- 一些被抓取最严重的类别，例如零售、计算机软件、信息技术以及金融服务，其人工流量在不到一年的时间里下降了多达 40%。
- 🤖自动化流量中增长最快的部分已不再是爬虫，而是代理程序，即代表个人获取页面的软件，通常是因为人类向聊天机器人提出了某些问题。
- 借助 Web 验证，包括 OpenAI、Google 和 AWS 在内的代理，能够对代理请求进行加密签名，因此网站无需通过 IP 地址或者用户代理字符串进行猜测，即可区分真实的代理和冒充者。
- 🤖今年 7 月，我们将单一的拦截 AI 机器人开关替换为独立的搜索、代理和训练控制项，这些功能适用于 Cloudflare 上的所有方案，包括免费方案。
- 但随着代理流量的兴起以及代理信息的新方式，他们突然能够对内容的使用方式，关于谁可以使用、如何付费以及他们想要被发现而不被滥用，制定条款。
- 🤖Cloudflare 的 AI 付费，我们在 2026 年 2 月发布，智能体作为付费方，以便在客户调用之前，发现并解决端点。