AI训AI惨遭投毒9次大崩溃，牛津剑桥等惊天发现登Nature封面！

AIGC动态欢迎阅读

原标题：AI训AI惨遭投毒9次大崩溃，牛津剑桥等惊天发现登Nature封面！
关键字：模型,数据,误差,概率,函数
文章来源：新智元
内容字数：0字

内容摘要：

新智元报道编辑：编辑部
【新智元导读】9次迭代后，模型开始出现诡异乱码，直接原地崩溃！就在今天，牛津、剑桥等机构的一篇论文登上了Nature封面，称合成数据就像近亲繁殖，效果无异于投毒。有无破解之法？那就是——更多使用人类数据！用AI生成的数据训练AI，模型会崩溃？
牛津、剑桥、帝国理工、多伦多大学等机构的这篇论文，今天登上了Nature封面。
如今，LLM已经强势入侵了人类的互联网，极大地改变了在线文本和图像的生态系统。
如果网络上的大部分文本都是AI生成的，我们用网络数据训练出的GPT-n，会发生什么？
论文地址：https://www.nature.com/articles/s41586-024-07566-y
研究者发现，如果在训练中不加区别地使用AI产生的内容，模型就会出现不可逆转的缺陷——原始内容分布的尾部（低概率事件）会消失！
这种效应，被称为「模型崩溃」。
换句话说，合成数据就像是近亲繁殖，会产生质量低劣的后代。
模型崩溃在LLM、变分自编码器VAE和高斯混合模型GMM中，都可能会发生。
有网友认为，是时候敲响警钟了！
「如果大模型真的在AI生内容的重压下崩溃，这对它