Block AI Crawlers 插件告诉人工智能爬虫（如 OpenAI ChatGPT）不要抓取你的网站内容用来训练 AI。具体做法是更新网站的robots.txt，以阻止常见的人工智能爬虫。人工智能爬虫会读取网站的robots.txt来检查是否有不索引的请求。

它可以阻止这些人工智能爬虫和机器人：

  • ChatGPT 和 GPTBot– OpenAI 使用的爬虫和网络浏览器
  • Google Extended– 用于谷歌双子座（前身为 Google Bard）人工智能训练的爬虫
  • FacebookBot– 用于 Facebook 人工智能培训的爬虫
  • CommonCrawl– 编译用于训练人工智能模型的数据集的爬虫
  • Anthropic AI / Claude– Anthropic 使用的爬虫
  • Omgili– Omgili 用于人工智能训练的爬虫
  • Bytespider– TikTok 用于人工智能训练的爬虫
  • PerplexityBot– 被 Perplexity 用于其人工智能产品中
  • Applebot– Apple 用于训练其人工智能产品
  • Cohere– Cohere 用于人工智能培训的爬虫
  • DiffBot– Diffbot 用于人工智能训练的爬虫
  • Imagesift– Imagesift 用于图像的爬虫

实验性元标签

该插件还会在网站的元标签中添加 「noai, noimageai 」标签。这些标签会告诉人工智能机器人不要将您的内容作为其数据集的一部分。这些都是试验性的，尚未标准化。

免责声明

注意：虽然插件添加了这些标记，但是否遵守这个标记要求取决于爬虫本身。