在人工智能领域，大型语言模型（LLM）如GPT系列，以其写诗、编程等能力令人瞩目。这些模型看似掌握了世界的某些普遍规律，但实际上，它们可能只是基于训练数据进行了巧妙的预测。一项最新研究揭示了这一现象的真相。
研究人员发现，一个流行的生成式人工智能模型能够在纽约市提供准确的逐向驾驶指引，然而，它并没有构建出精确的城市内部地图。当研究人员对模型进行测试，通过关闭一些街道并增加绕行路线来模拟现实世界的复杂性时，模型的性能迅速下降。深入分析后，他们发现，模型隐式生成的纽约地图充满了现实中不存在的街道，这些街道在网格间曲折蜿蜒，连接着遥远的交叉路口。
这一发现对生成式人工智能模型的现实应用提出了严峻挑战。如果任务或环境稍有变化，这些模型可能会突然失效。麻省理工学院信息与决策系统实验室（LIDS）的助理教授Ashesh Rambachan指出：“尽管LLM在语言方面表现出色，但我们如果想在其他科学领域利用这些技术取得新发现，就必须弄清楚它们是否正在学习连贯的世界模型。”
为了解决这个问题，研究人员专注于一种称为transformer的生成式AI模型，它是GPT-4等LLM的核心。他们发现，仅凭预测准确性来衡量模型是否形成了准确的世界模型是不够的。例如，transformer可以在不了解任何规则的情况下，几乎每次都能预测出四子棋游戏中的有效动作。因此，研究团队开发了两个新的评估指标：序列区分和序列压缩。
序列区分指标用于测试模型是否能区分两种不同的状态，如两个不同的奥赛罗（黑白棋）棋盘。如果模型能够识别出它们之间的区别，那么它可能已经形成了一个连贯的世界模型。序列压缩指标则用于测试模型是否知道两个相同的状态具有相同的可能后续步骤序列。研究人员使用这两个指标对两类常见的transformer进行了测试。
令人惊讶的是，研究发现，随机做出选择的transformer在形成准确世界模型方面表现得更好。这可能是因为它们在训练期间看到了更多潜在的下一步。尽管这些transformer在几乎所有情况下都能产生准确的方向和有效的奥赛罗动作，但只有两个指标中的一个表明，它们在奥赛罗动作中生成了连贯的世界模型，而在寻路示例中，没有一个模型表现良好。
当研究人员通过在纽约市地图上添加绕行路线来测试这些模型时，所有导航模型都失败了。Rambachan的同事Keyon Vafa表示：“我很惊讶，我们一增加绕行路线，性能就下降得如此之快。如果我们关闭1%的可能街道，准确率就会立即从近100%下降到只有67%。”当他们恢复模型生成的城市地图时，发现它们看起来就像是一个想象中的纽约市，充满了随机立交桥和方向不可能的街道。
这项研究表明，transformer无需理解规则就能在某些任务上表现出色。因此，如果科学家想要构建能够捕捉精确世界模型的LLM，他们需要采取新的方法。Rambachan说：“我们经常看到这些模型做出令人印象深刻的事情，并认为它们一定对世界有所了解。我希望我们能让人们相信，这是一个需要认真思考的问题。”
