Cloudflare首席执行官马修·普林斯刚刚正式宣布：从今天开始，Cloudflare将默认阻止已知的AI机器人抓取网站，除非获得明确许可或支付费用。

这不仅仅是一个技术调整。Cloudflare的“内容独立日”标志着一次集体升级。自去年秋季以来，已有超过一百万个网站选择阻止抓取，但现在这已成为每个新Cloudflare域名的默认设置。此外，包括美联社、《时代》杂志、《大西洋》杂志、BuzzFeed、Reddit、Quora和环球音乐集团在内的一系列媒体巨头也已签署加入。

这一举措在社交媒体上得到了广泛好评，投资者和SEO专家纷纷赞扬这一倡议。

“这就是方向，”前Stability AI音频副总裁埃德·牛顿-雷克斯（Ed Newton-Rex）说；“Cloudflare再次解决问题，”化名交易员和内容创作者罗马诺·RNR（Romano RNR）说。“这会没事的。需要一种力量来将平衡恢复到曾经的状态，”前谷歌员工、现任SEO顾问佩德罗·迪亚斯（Pedro Dias）说。

当然，并不是所有人都信服。反对这一举措的主要论点是，这可能会伤害那些未出现在AI搜索中的企业。

或者也许不会：普林斯指出，十年前，谷歌每发送一次访问给出版商，就会抓取两页内容。考虑到使用互联网的人数已经激增到覆盖大部分地球，出版商应该受益。但他们并没有，因为为了在谷歌上“被看到”，出版商需要让他们的内容更容易被搜索巨头总结——以便更好地留在谷歌搜索中。

所以今天，对于每“18页谷歌从你那里获取的内容，你只得到一个访客，”普林斯说。

但对于AI公司来说，这些数字的影响是成倍增加的。普林斯说：“六个月前，OpenAI的比例是多少？250比1。今天是多少？1,500比1。”而OpenAI并不是最糟糕的违规者。安索普（Anthropic）六个月前是“6,000比1。今天是多少？60,000比1，”他说。

“如果互联网要在AI时代生存，我们需要给予出版商应有的控制权，并建立一个对所有人——创作者、消费者、未来的AI创始人以及网络本身的未来——都有效的新经济模型，”普林斯辩称。“我不会粉饰。如果人们没有创造内容的动力，他们就不会创造内容，”他单独说道。“我们必须把这一点还给他们，否则互联网就会消亡，”普林斯说。

“按爬取付费”——或者不爬取

为了迫使AI公司采取行动或被排除在外，Cloudflare正在开创一种新的AI内容访问方式：一个需要许可的、按爬取付费的市场。出版商可以首次为AI机器人设定自己的收费标准——利用长期未被使用的HTTP 402“需要支付”代码作为数字收费站。

出版商可以允许免费访问、对每次爬取收费，或完全阻止它们。该公司表示，这仅对领先的内容创作者在早期访问中可用，但计划是扩大该系统。

“按爬取付费”倡议的推出，正值一些网络最大内容提供商寻求对AI公司的杠杆作用，此前他们的内容被免费获取并在其他地方获利。“当AI公司不再能够免费获取他们想要的任何内容时，这为基于许可和合作的可持续创新打开了大门，”康泰纳仕首席执行官罗杰·林奇（Roger Lynch）说。

普林斯认为，这种联盟建设至关重要。

“没有稀缺性，就无法形成良好的市场，这就是为什么这需要集体努力，”他说。他警告说，如果今天达成的许可协议没有真正的阻止措施，未来将会更糟。

研究证实，这一运动不仅仅是象征性的。根据Originality.AI和路透社研究所的研究，全球前50%的网站已经在阻止AI爬虫。去年，Cloudflare 实施了一项选项，使得阻止AI爬虫变得简单，超过一百万客户已经使用了该选项，公司表示。

现在，新的域名在注册Cloudflare时会被询问是否希望允许AI爬虫，默认设置为阻止。现有客户可以随时更改他们的设置。

编辑：安德鲁·海沃德

免责声明：本文章仅代表作者个人观点，不代表本平台的立场和观点。本文章仅供信息分享，不构成对任何人的任何投资建议。用户与作者之间的任何争议，与本平台无关。如网页中刊载的文章或图片涉及侵权，请提供相关的权利证明和身份证明发送邮件到support@aicoin.com，本平台相关工作人员将会进行核查。