AI性能骤降？竟是JSON惹的祸！JSON格式扼杀AI智力？令人震惊！别让JSON拖AI后腿！高效数据格式的秘密JSON：AI的隐形？数据格式之殇：JSON如何限制AI潜力？是JSON的错？还是你的代码不够优秀？你的AI智商堪忧？可能是JSON惹的祸！深度揭秘：JSON如何影响AI性能AI效率低下的真正原因：你可能没想到是JSON！惊天发现！JSON竟是AI发展的绊脚石？
论文《Let Me Speak Freely》及其反驳文章解读
近期，一篇关于大模型结构化输出（如JSON）导致“降智”的论文《Let Me Speak Freely》引发热议。该论文声称，在结构化输出模式下，大模型的准确率远低于非结构化输出（自然语言）。然而，一篇名为“Say What You Mean”的反驳文章对此结论进行了有力驳斥，指出问题并非出在结构化输出本身，而是实验中 prompt 的设计缺陷。
1. 论文《Let Me Speak Freely》的主要结论与争议
论文《Let Me Speak Freely》的主要结论是，类似JSON的结构化输出指令会降低大模型的性能，尤其在“Last Letter”任务中，结构化输出的准确率低于10%，而自然语言输出的准确率约为70%。这一结论在学术界引发了广泛争议。
2. 反驳文章“Say What You Mean”的观点
反驳文章“Say What You Mean”的核心观点是，论文实验中 prompt 的设计存在严重缺陷，导致实验结果失真。文章作者指出，论文中结构化输出和非结构化输出使用了不同的prompt，这使得两者之间的比较缺乏公平性。 糟糕的 prompt 缺乏明确性，没有说明输出的JSON结构，也没有指定需要使用的工具，导致大模型无法准确理解指令。
3. 改进的 prompt 及实验结果
文章作者重写了 prompt，使其包含足够的信息，例如明确的输出结构、示例以及工具说明。改进后的 prompt 明确规定了JSON的结构，并提供了符合该结构的示例。通过改进后的 prompt 进行实验，结果显示大模型在结构化输出模式下的性能不仅没有下降，甚至略有提升，了原论文的结论。
4. 对“Perfect Text Parser”的质疑
原论文使用了名为“Perfect Text Parser”（文中称其为AI解析器）的工具来解析非结构化输出。反驳文章质疑了该工具的“完美性”，并指出使用手工编写的正则表达式即可达到甚至超越AI解析器的效果，从而简化了流程，降低了成本。
5. 结构化输出的优势与误解
文章澄清了结构化输出并非仅仅指JSON、XML等特定格式，而是指任何可以被明确定义和解析的输出结构。 文章强调，只要 prompt 设计合理，并配合合适的解析器，结构化输出不仅不会降低大模型的性能，反而可以提高效率和可解析性。
6. 结论：结构化输出本身并非导致大模型“降智”的原因
反驳文章通过改进的 prompt 和实验结果有力地反驳了原论文的结论。 文章指出，大模型性能的下降并非源于结构化输出本身，而是由于不合理的 prompt 设计导致的。 只要 prompt 设计合理，并选择合适的解析方法，结构化输出可以有效提高大模型的效率和应用价值。
联系作者
文章来源：夕小瑶科技说
作者微信：
作者简介：解码AI世界，硬核也可爱！聚集35万AI发烧友、开发者和从业者，广泛覆盖互联网大厂中高管、AI公司创始人和机构投资人。一线作者来自清北、国内外顶级AI实验室和大厂，兼备敏锐的行业嗅觉和洞察深度。商务合作：zym5189