OpenAI 刚刚发布了完整的o1 模型——一种比以前的模型更能进行多步推理的新型模型。 Anthropic、谷歌和其他公司无疑正在开发类似的产品。与此同时，人工智能模型是否真的以类似于人类的方式“推理”，在许多方面都引起了激烈的争论。
Emily Bender 和她的同事有句名言，将大型语言模型描述为“随机鹦鹉”，即基于统计模型、盲目重复训练数据的系统，没有真正的理解（让人想起中文室实验）。其他人也发表了类似的评论，将法学硕士描述为“类固醇上的 n-gram 模型”或“奇特的外推算法”。 ”
这当然有一定道理。人工智能模型有时会产生显着的结果，但缺乏某些基本的理解，这可能会抑制它们有时产生无意义的结果。更重要的是“鹦鹉学舌”训练数据，Yejin Choi 团队最近的工作展示了法学硕士有时如何几乎逐字地从各种培训文档中剪切和粘贴片段，以制定其输出。
法学硕士（只是）被美化的信息检索工具吗？
这些担忧的含义是，法学硕士“只能”重复所教授的内容（尽管有错误）。然而，这种观点与证据并不相符。 LLM 训练是一个压缩过程，在该过程中，信息片段之间形成了原始数据中不存在的新连接。这在数学上和轶事上都得到了证明。根据我自己的经验，我已经得到了这种晦涩而详细的技术问题的有效答案，我很难相信会以这种形式存在于任何训练数据中。无论你是否称其为“推理”，都可能有争议，但无论你怎么称呼它，它都不仅仅是像“随机鹦鹉”那样朴素的信息检索。
你的经验是什么？请在评论中告诉我们。
帖子《人工智能模型能否推理：只是一只随机鹦鹉？》首次出现在约翰·D·库克 (John D. Cook)节目中。
原文： https://www.johndcook.com/blog/2024/12/19/is-ai-just-a-stochastic-parrot/