一键屏蔽恶意 AI 模型爬虫机器人,Cloudflare 推出“防扒”网络工具

2024-09-26 www.dnxtw.com

电脑系统网 9 月 26 网络服务提供商日新闻 Cloudflare 本周推出了一系列预防措施 AI 爬虫工具,包括可查看的工具 AI 爬虫的具体活动 AI Audit 并且一键屏蔽一切 AI 爬虫的 Block AI Scrapers and Crawlers。站长可以部署相关服务,防止他们的网站内容用于培训 AI 机器人爬虫扒取。

计算机系统网络注:爬虫是一种可以在互联网上搜索和获取信息的自动化程序。目前,许多制造商使用相关的爬虫来选择主要的网站信息进行培训 AI 模型、相关爬虫容易导致网站产生大量异常流量,因此网站管理员需要支付高昂的网络带宽成本,但也容易导致大量的原创网站 / 泄露隐私内容。

Cloudflare 引入的相关工具主要使用签名对比、启发算法、机器学习和行为分析技术来识别爬虫,用户可以查看 AI 各种爬虫行为,包括爬虫类型、访问频率和扫描内容,站长也可以根据需要放行“善意” AI 机器人抓取信息(这种“善意” AI 机器人主要寻找网站 robots.txt 为了获取信息,通常不会对网站本身产生异常流量,也不会直接将网页的所有数据用于整体培训模型)。

如果你不确定如何处理这些问题 AI 站长也可以使用爬虫 Block AI Scrapers and Crawlers 功能,一键屏蔽一切 AI 爬虫。

互联网是许多大语言模型(如 OpenAI 的 GPT 模型和谷歌 Bard)它提供了大部分的培训数据,现在许多制造商为了刷自己的 AI 模型分数,肆意通过网络爬虫“拿来式”获取培训数据,使应该“污名化”的行为,主要网络提供商直接推出这种禁止 AI 出乎意料的是,爬虫的服务。

广告声明:文本中包含的外部跳转链接(包括不限于超链接、二维码、密码等形式)用于传递更多信息,节省选择时间。结果仅供参考。计算机系统网络上的所有文章都包含了本声明。

相关阅读