在 Mozilla 处理 Firefox 网络兼容性问题的工程师 Dennis Schubert 近期指责大模型公司疯狂爬取内容导致网站负载过高而运行变慢的帖子火了

原标题：“要点脸吧！”大模型巨头“吸血”网站资源无底线，被惹怒的开发者来“复仇”了！
文章来源：AI前线
内容字数：8384字

大模型引发的互联网危机：开发者们的困境与反击

近期，Mozilla 工程师 Dennis Schubert 的一篇文章引发热议，文章揭露了大模型公司疯狂爬取数据导致网站负载过高、运行缓慢的严重问题。这篇文章道出了许多开发者的心声，也引发了关于如何应对 AI 的广泛讨论。

1. 大模型的疯狂行为

Schubert 以自身网站为例，指出其 70% 的服务器负载来自大模型训练操作。GPTBot、Amazonbot 和 ClaudeBot 等反复爬取内容，每 6 小时返回一次，严重影响网站性能，甚至引发 DDoS 攻击。大型网站如 iFixit、Read the Docs 和 Freelancer.com 也遭遇了类似的攻击，网站一度瘫痪。

2. 开发者们的无奈与反击

面对 AI 的肆虐，开发者们尝试了多种方法进行防御。robots.txt 文件被广泛使用，但许多无视该协议。一些开发者开始使用 Cloudflare 等工具屏蔽请求，或在 robots.txt 中添加抓取延迟。更激烈的反击手段则包括开发插件（如 AI Poison Pill），用垃圾内容“毒害”，或返回超大容量文件消耗资源。

3. 新闻媒体的困境与选择

新闻媒体是 AI 的主要目标之一。超过半数新闻出版商选择屏蔽 AI ，但这种做法的法律效力尚存争议。一方面，robots.txt 的法律地位不明确；另一方面，用户将网站内容用于大模型训练的行为难以阻止。一些新闻机构也开始探索付费爬取的可能性。

4. 版权问题与伦理争议

AI 的广泛使用引发了严重的版权问题。大模型利用爬取的内容进行训练，再与原创作品竞争，引发了艺术家和内容创作者的强烈不满。音乐生成 AI 与唱片公司之间的冲突，也反映了这一矛盾的复杂性。

5. 未来的挑战与应对

AI 问题需要行业共同努力解决。开发者需要更有效的防御手段，大模型公司需要更负责任的爬取行为，法律法规也需要跟上技术发展的步伐，明确 robots.txt 等工具的法律效力，并对 AI 行为进行规范，才能平衡技术发展与内容创作者的权益。

总而言之，AI 带来的问题已经成为互联网生态面临的重大挑战，需要各方共同努力，寻找合理的解决方案。

联系作者

文章来源：AI前线
作者微信：
作者简介：面向AI爱好者、开发者和科学家，提供大模型最新资讯、AI技术分享干货、一线业界实践案例，助你全面拥抱AIGC。