上市云服务提供商 Cloudflare 推出了一个新的免费工具，以防止机器人抓取其平台上托管的网站数据来训练 AI 模型。该工具旨在解决那些不遵守 robots.txt 文件的 AI 抓取器问题，robots.txt 文件会上告诉机器人哪些页面可以访问。尽管一些 AI 供应商允许网站通过 robots.txt 文件来阻止抓取，但并非所有 AI 抓取器都会遵守。为了解决这个问题，Cloudflare 分析了 AI 机器人流量，以优化检测模型，并设立了报告表格。随着生成式 AI 的兴起，尽管许多网站选择屏蔽 AI 抓取器，但一些供应商无视标准规则，以在 AI 竞赛中获利。像 Cloudflare 这样的工具可能会有所帮助，但前提是它们能准确检测到隐秘的 AI 机器人，同时也不会解决失去推荐流量的问题。

原文介绍了Cloudflare 新防护工具的主要特点和功能和如何检测预防。点击原文查看详情：Cloudflare 推出免费防护工具，阻止 AI 机器人抓取网站内容