Does ChatGPT 像我们一样思考？这听起来像是一个五岁的孩子可能会问他目瞪口呆的父母的问题之一。亲爱的，你为什么要知道圣诞老人是真的吗？圣诞节早上拿礼物还不够吗？

同样，大型语言模型 （LLM） 可以做一些令人惊奇的事情，例如编写代码、将复杂的技术文档转换为易于理解的教程、创作音乐、生成艺术作品以及以莎士比亚风格为 Dunkin' 写颂歌，这还不够吗？（好吧，我们都做过最后一个。它们是令人眼花缭乱的工具，但有已知的局限性，而且每天都在变得更好。这还不够吗？为什么他们虚拟引擎盖下的东西是否像我们骨头骨里的东西一样运作很重要？

显然，如果法学硕士能够以教授、医生或律师的令人信服的权威进行对话和传播知识，那么它似乎是在日常或工具意义上的“思考”。但这也可能是精心设计的假货。如果您在考试前一天获得并记住答案，那么满分并不能说明您对材料的掌握程度。造假总是有极限的。

让我们以艾伦·图灵 （Alan Turing） 在 1950 年设计的著名且广为人知的智力测试为例。人类评估员与一台机器和另一个人进行对话，两者都是看不见的，并试图确定哪个是哪个。如果他们无法区分，机器就会“通过”测试——它表现出人类水平的智能行为。发布当天，ChatGPT 果断地通过了图灵测试，以至于测试本身显得古朴。

还是真的？在图灵提出他的测试 31 年后，美国哲学家约翰·塞尔 （John Searle） 用他的“中国房间”论点进行了反驳。一个不懂中文的人被锁在一个房间里，房间里有一大堆汉字和一本手册，里面展示了如何将中文问题与从汉字中得出的适当答案相匹配。说中文的人通过房间的插槽插入问题，人类推出手册口述的响应式汉字。对于外面说中文的人来说，房间已经通过了图灵测试。但人类只是按照手册进行作;没有发生实际的思考。这就像一个古老的笑话，将讲座定义为教授的笔记成为学生的笔记，同时又不经过两者的思想的过程。

如果法学硕士不是在某种意义上思考，那么它就是在中国房间意义上的假装。如果这是真的——如果法学硕士的表现是一个巨大的客厅技巧——那么它的功能将不可避免地受到限制。它会很脆弱，容易出现意外故障，而不是像人类那样灵活、有弹性、能够稳步改进。我们永远不会相信它来设计桥梁、教学生甚至报道新闻。（当然，信任有其局限性：我们总是希望人类在某种程度上参与所有这些任务。

另一方面，如果法学硕士确实“思考”，他们将不可避免地更加融入我们的生活。人类的需求总是超过信息、建议和情感支持的现成供应。随着法学硕士满足人类未满足的需求，人机交互之间的界限将逐渐消失。在极限中，通用人工智能——机器表现出类似人类的认知能力和执行我们人类可以执行的任何智力任务的能力——成为一种真正的可能性。也许离我们不远了。

我们可能更了解法学硕士的运作方式，而不是我们自己大脑的了解。人工智能 （AI） 系统通常看起来像“黑匣子”，因为虽然我们了解它们的架构并可以拍摄其内部状态的快照，但这些状态只是一大堆数字，对我们来说没有可解释的意义。但由于计算机不会流血或尖叫，我们可以调查一切我们想要的强迫或哄骗 LLM 放弃他们的秘密而不伤害他们。

LLM 开发商 Anthropic 的联合创始人兼首席执行官 Dario Amodei 描述了在识别与人类可理解的概念（或“特征”）相对应的 LLM 组件和相关特征集群（或“电路”）组合方面所做的成功努力。他解释说：

这些电路显示了模型思维中的步骤：概念如何从输入词中出现，这些概念如何相互作用形成新概念，以及这些概念如何在模型中工作以生成动作。通过电路，我们可以“追踪”模型的思维。

无需大型成像设备或手术。请注意阿莫代随意提到的“思考”。

如果法学硕士和我们一样思考，那么了解法学硕士及其“神经元”的组织和运作的能力可能会让我们深入了解我们自己智力的本质和局限性。例如，法学硕士从根本上说是结构化语言以及用于处理和作它的机制。我们自己的智能中有多少最终是基于语言的？我们的大部分经验，包括高级认知体验，都是非语言的——例如音乐和艺术的创作和享受。然而，即使音乐和艺术源于语言之下或同样容易高于语言的概念冲动，我们对它们的有意识的欣赏——我们对它们的美学和意义的理解——至少部分地产生于语言。艺术批评作为一种形式化的写作体裁，可能仅在几百年前才出现，但对艺术的口头反应与艺术本身一样古老，并一直影响着艺术的创作。

如果我们能够探索我们自己智力的替代品，诸如此类的可测性可能会屈服于理解。

我认为我们需要定义“思考”

W当我们问机器是否能像我们一样思考时，我们必须从根本上定义“思考”和“思想”的含义。显然，这是一个无法解决的问题，几千年来一直在哲学家、心理学家和认知科学家之间引发争论。本着最小化不可估量的精神，让我们把思维作为基于信息的推理的实践观点，将推理理解为获取信息并据此得出结论、推论或判断。

当然，这遗漏了很多，但我们需要一个对人类和机器都有意义的定义。这需要一个狭隘的观点——我们不想迷失在毫无意义的不可知物中，例如计算机是否可以表现出意识、情感或欲望。这种从根本上说人类的概念源于具有生存和繁殖等先天需求的凡人生物的经验，他们面临环境挑战和与其他生物争夺有限资源的竞争，并因此而进化。

但是，我们能否将根本上的人排除在我们对思想的评估之外，同时仍然保留本质的东西呢？或者一个对人类和机器都有意义的定义最终是毫无意义的？

人类行为是由生物学和化学驱动的。机器没有行为，它执行指令——尽管它可能被编程为表现出我们所认为的行为。法学硕士接受过反映人类经验各个方面的大量书面语料库的训练，可以雄辩地表达爱与渴望、欢乐与悲伤，以及人类经验的全方位。这证明了人类成功地用语言表达了如此多的经验，而语言是法学硕士的素材。法学硕士接受过所有关于人性的写作的训练，可以用令人震惊和令人信服的清晰度用语言表达人性。是的，它只是根据它读过的故事写一个故事。但它“思考”经验概念的能力并不因无法体验而被排除。

所以，是的——由于我们自己在语言上热情洋溢的天性，我认为，我们可以采用适用于人类和机器的思维定义，而不会弄巧成拙地破坏这个概念。

我们应该思考什么层次的思维？

它还不足以说我们将人类思维与机器思维进行比较。思维发生在许多层面上，从我们神经硬件的基本作到自我意识和意识等稀有、难以捉摸的概念。为了比较人类和机器，我们应该在什么层面上考虑思维模式？

将我们基于生物学的神经回路与法学硕士背后的计算原语考虑在一起是没有意义的。你越仔细观察任何东西，它似乎就越与其他一切不同。每片雪花都不同，但铲雪时 10 英寸的雪看起来总是一样的。也就是说，计算机使用晶体管和走线，而大脑使用细胞和神经递质这一事实并不是特别密切相关——不同的组件可以用来构建在更高水平上运行相似的东西，在这种情况下是认知有意义的。

因此，让我们跳到组件之上，将我们头脑中神经元的组织与法学硕士背后的计算结构的排列进行对比。差异仍然很明显。在我们的大脑中，有 860 亿个神经元在复杂的网络中相互交流，这些网络使用不同的信号机制并不断变化。神经元具有接收来自其他神经元信号的分支树突和传递信号的细长轴突。当一个神经元沿着树突被足够多的其他神经元化学刺激时，它就会“放电”——电压尖峰沿着它的轴突传播，轴突终止相邻的其他神经元，并通过喷出自己的化学信号来刺激它们。轴突和树突不断生长并改变它们与其他神经元的连接。

计算神经网络是法学硕士的基础，涉及节点的排列和节点之间的连接。尽管节点架构是固定的，但连接的权重在训练 LLM 时采用值，并且这些权重赋予了可塑性：可以通过将它们归零来擦除连接，并通过将零权重增加到正值来创建连接。“信令机制”不会改变——输出通过加权连接从一个节点传输到另一个节点——但节点处理传入信号的方式可能会有所不同。也就是说，来自其他节点的足够加权激活会导致接收节点“触发”，但它产生的输出类型取决于其特定的数学激活函数。可变连接和激活类型的多样性允许计算神经网络根据训练进化和学习。

当然，活生生的大脑正在 24/7 不断接受训练——每一次经历、互动和梦想都会导致新的联系形成或加强，而其他联系则消失。当今的法学硕士专为持续学习而设计，使它们能够保持最新状态。它们经常更新或增强来自新闻文章、科学出版物和网络爬虫等来源的实时信息，以增强他们的知识和响应。

尽管如此，计算神经网络在结构复杂性方面仍无法与大脑相提并论——甚至还差得很远。大脑皮层中神经元的轴突和树突向各个方向延伸，与数千个其他神经元形成密集的连接。计算神经网络具有更有序的结构，通常采用顺序二维层的形式（至少在概念上）。虽然连接可以跨越多层，但任何计算神经网络的整体复杂性都无法接近大脑的生物学复杂性。

单个白色神经元接收来自数千个蓝色轴突的信号，信号在绿色突触处转移。图片来源：Google Research 和 Lichtman Lab（哈佛大学）。D. Berger（哈佛大学）的效果图

简单计算神经网络的顺序层

然而，在更高级别的组织中，出现了相似之处。活体视觉系统通过神经元层发送信号，这些神经元对日益复杂的细节做出反应，从线条到模糊的形状再到完整的图像。正是通过这种等级组织，视觉感知才发生。旨在分析图像的计算神经网络也以类似的方式工作。“卷积”神经网络 （CNN） 还具有一系列图像输入通过的层，并以不断增加的视觉复杂性表示信息。每一层的内容都使用一系列过滤器进行处理（可以说是视觉总结），这些过滤器的权重在训练过程中会发生变化，结果将传递到下一层。与生物视觉系统一样，CNN 从检测边缘和简单形状开始，逐渐在最高层中表示较大的形状或图案，例如耳朵或脸部。CNN 非常擅长检测模式，有时在特定领域超越人类的能力。

因此，虽然CNN的低级成分与处理视觉信息的大脑区域的低级成分明显不同，但功能基序却惊人地相似。但眼见为实，不是思考。如果一张图片胜过千言万语，那是因为视觉感知比推理简单得多。拥有几百个神经元的昆虫可以看到。如果我们想将人类思维与机器思维进行比较，神经结构和组织并没有讲述足够丰富的故事。仍然可以想象产生类似的高级推理模式的非常不同的处理策略，因为推理比基本信息处理复杂得多。

可以这样想。如果我们要比较两辆车，看看它们的具体细节并不能告诉我们太多。神经架构就像化油器和离合器等更高级别的功能部件——它们比螺母和螺栓产生更大的影响，但不一定会区分大奖赛的赢家和输家。例如，一辆汽车的组件在整体复杂性方面所缺乏的可以通过更高的速度、扩展性和任务专业化来平衡。我们已经朝着正确的比较水平迈出了一步，但我们还没有达到那里。

我们的小步还没有实现，让我们迈出一大步。当我们考虑真正高层次的心理过程（例如理解、创造力和同理心）时，我们就进入了镜子的大厅，因为定义是难以捉摸的，不可能肯定地将这些概念中的任何一个归因于特定情况。我们不仅不知道这些高级概念意味着什么;我们也不知道——也许不知道——这些状态，无论我们如何定义它们，何时被真正展示出来，或者相反，是伪造的。我们无法就定义达成一致。

让我们首先抛开意识、情感和自我意识的概念——这些我们决定避免的独特的人类结构——并一一看看我们之前列出的那些。

理解。当我提示 LLM 生成 Python 代码时，它会立即生成，并且代码通常有效。LLM 还添加了注释，解释了每一行代码的作用以及它如何响应我的请求。而且，通常最令人不可思议的是，它首先优雅地转述了我的提示，我倾向于用笨拙、艰苦的语言来写，以避免误解。LLM 在正确解析语言并满足其条款的语义意义上清楚地“理解”了我的请求。它可以解释请求这一事实提供了进一步的理解证据;“你不能教你不懂的东西，”一个老锯子说，用更好的语言重复它——有时用我没有想到的特定技术术语——是一种教学形式。

如果我们考虑从行为/功能意义上理解理解工作描述并完成该工作，那么法学硕士就通过了测试。事实上，法学硕士通常可以区分微妙的语义含义并处理人类可能无法理解的歧义。他们可以识别蕴含和矛盾，并且如前所述，他们可以转述。这意味着对语言含义的更深入理解，而不仅仅是单词联想。

另一方面，我们可以通过坚持更高层次的“因果关系”理解来提高标准——这需要一个关于世界及其运作方式的内部模型。这意味着知道某件事为什么会变成现在的样子，而不仅仅是它是什么。法学硕士接受文本数据训练，缺乏对世界、身体、感官或与物理现实的交互的直接体验。通过以这种方式定义理解，我们在定义上排除了法学硕士。

虽然也许不完全是。如果在法学硕士的训练文本中捕捉到了足够多的世界，法学硕士可能会至少获得一些将物理原因与结果联系起来的能力。如前所述，我们自己的大部分世界理解也可能在语言中产生并得到体现。我们稍后会回到这个。

目前，关键是理解可以通过多种方式来定义——我们只研究了其中两种——我们总是可以任意地设定比任何 LLM 所能清除的标准更高的标准。大多数人的“理解理解”可能比因果关系更实用——LLM 是否“理解”并完成了这项工作？通常确实如此，所以假设法学硕士通过了理解测试。但我们也承认，这个判断并没有告诉我们我们是否在处理中国房间。

创造力。在中国房间里不可能有创意。该说明书包含固定的想法，而创造力是发明新想法的能力，而不仅仅是综合现有的想法。有些人认为创造力本身就是智力的试金石。当测试为日常物品设计替代用途的能力时，聊天机器人的性能优于大多数人类。法学硕士为以前未解决的数学问题设计了新的解决方案，并设计了执行实际任务的新算法。至少有一名法学硕士似乎进行了原创研究，设计了一个新系统，并撰写了一篇描述性论文，并在同行评审后发表。谷歌研究人员认为，“在已建立的开放问题上超越最先进的结果，清楚地表明这些发现确实是新的，而不是从法学硕士的训练数据中检索的。

这是一个相当大的断言，暗示着智慧和思想。我们应该退后一步，惊叹于它的奇妙之处——机器挑战并超越了我们最崇高的智力能力，扩展了知识和我们的发现能力。这些能力暗示 AGI 不仅仅是假设的。我们已经脱离了中国房间。

同理心。“成功的关键是真诚，”演员兼喜剧演员乔治·伯恩斯说。“如果你能假装你已经成功了。”假装同理心可能更难，同理心超越了你自己的感受，可以理解和分享他人的感受。但当然，我们确实会假装同理心。我们把幸灾乐祸埋藏在令人讨厌的别人的不幸之下，表达出糖精般的同情。疲惫的医生可能感觉不到，也无法轻易表达适合传递坏消息的同理心。但别担心，有一个应用程序可以做到这一点——真的。

2023 年的一项研究发现，近 80% 的时间，与人类医生的回答相比，一组有执照的医疗保健专业人员更喜欢 ChatGPT 对患者问题的回答。ChatGPT 的回答在同理心方面的评分高出近 10 倍。随后的工作强化了这一发现。最近的一项研究测试了六名法学硕士的标准情商 （EI） 评估，这些评估是为人类设计的。法学硕士的平均正确答案为 82%，明显高于人类参与者的 56%。缺乏情感的法学硕士表现出比人类更好的情商（通过认知评估来衡量），包括但不限于情感同理心。在预测人类可能的想法或感受时，很难不将“心智理论”（或至少是一个非常令人信服的模拟）归功于法学硕士。

你觉得这令人反感吗？嘿，我感同身受——也许吧。在我们的镜厅里，我们常常无法区分真正的人类同理心和虚假。当法学硕士表达同理心时，它不是假的，也不是感觉。人类的同理心与令人信服的机器模拟有何不同？法学硕士的说服力反映了文本中捕捉到了人类经验的丰富性，以及如何使用该文本来引发机器对人类状态的明显理解——尤其是具有情感和认知成分的同理心等状态。

它还提醒我们有多少日常体验和互动是远程发生的——通过电子邮件、短信、社交媒体等。当我们无法用词或可能被错误地理解时，表情符号可以帮助我们传达含义——当面不会发生或很容易纠正的失误。个人接触在人际关系中的作用减弱，这在一代人之前是不可想象的，当我们与聊天机器人互动时，已经引起了一些怀疑。这是接受人为的同理心足够接近真实事物的一小步。事实上，对于许多人来说，这已经发生了：法学硕士驱动的治疗应用程序是商业化的，并且可能由健康保险承保。随着法学硕士性能的提高与人类信任和接受度的提高相融合，我们可能会开始忘记为什么看着某人的眼睛是有意义的。

但我们偏离了我们的追求。将法学硕士的输出与人类在这种高度思维层次上的反应进行比较，我们知道法学硕士通常可以像我们一样思考和理解，并且似乎也能理解我们。当法学硕士在某些类型的推理中表现出局限性时，研究人员通常会成功地用新功能来增强它们。一个有力的例子是“思维链”（CoT）处理，它通过提示法学硕士在得出最终答案之前明确生成推理的分步解释来增强法学硕士的推理能力。CoT 已被证明可以提高准确性、可靠性和可解释性，这些品质在人类推理中也很有价值。

CoT 还举例说明了我们所能了解的关于人类思维和法学硕士思维之间相似性的局限性。（在这里，当应用于法学硕士时，我不再在术语思维周围加上引号。虽然 CoT 可能会使法学硕士执行复杂推理的能力更接近人类水平，但它并不一定使他们的推理过程与人脑的生物和认知过程更加相似。即使他们思考得和我们一样好，甚至比我们更好，法学硕士也不一定像我们一样思考。

我们跳得太高了。再次鞭打汽车类比，两辆车在一场比赛中打成平手这一事实并不能告诉你太多关于它们内部设计的相似性。回答我们的核心问题——我们是否被黑客入侵了思想？——要求我们在更中间的层面上进行比较。

在正确的水平上思考

LET首先看着我们。在人类中，推理的所在地是大脑皮层，大脑皮层是大脑皱纹、折叠的神经组织最外层。大脑皮层有几毫米厚，包含 140 亿到 160 亿个神经细胞，这些神经细胞被组织成六个不同的层。每一层都有不同种类的神经元类型和它们之间的不同连接模式。这些层共同形成一个分层处理系统。信息流经皮层，下层处理原始感觉输入，上层整合和完善该信息以实现更抽象的认知功能。不同的大脑区域也形成一个功能层次结构，在不同的抽象层次上处理信息（如上所述与视觉系统有关）。

语言和推理发生在皮层中，但不发生在任何一个地方。大脑对语言的表示和词义的保留涉及多个大脑区域的协调活动，这些区域形成不断进化的相互关联的网络。推理是相似的，尽管更神秘。认知科学家将推理视为复杂神经元网络中动态相互作用的“涌现”属性——也就是说，以某种方式发生的事情。不同类型的推理任务以略有不同的方式招募和配置各种皮质网络，反映了手头问题的具体需求。大脑在这些相互关联的区域之间灵活分配资源，以进行推理和判断。

如果这一切听起来有点手摇大摆，那是因为我们并不真正了解细节。部分原因是细节总是在变化和偶然的。随着人体和维持联系的大脑在世界上集体发展，联系被形成、加强、丢失、重建和改变。相比之下，我们更了解 LLM 的基本作，因为我们构建了它们。两个关键概念占主导地位：“注意力”和嵌入。注意力允许输入序列中的每个元素（例如提示的单词）“关注”或权衡序列中所有其他元素的重要性。这使得 LLM 能够根据元素的相关性在元素之间创建动态连接，从而捕获远程依赖关系和全局上下文。

这是什么意思？最简单地说，“注意力”是指在整个句子或句子序列中保留和利用上下文的能力。这是一个例子：

“这位著名科学家花了数十年时间研究量子物理学，其开创性的理论彻底改变了我们对宇宙的理解，他终于出版了他期待已久的回忆录。”

想象一下，一个 LLM 逐字处理这个句子（或者用技术术语来说，逐个标记）。当它在最后到达回忆录这个词时，它必须保留早期的上下文信息，说明它是谁的回忆录以及其出版的意义。它通过让每个令牌能够向前面的令牌发送查询来做到这一点;在这里，回忆录代币问它的前辈，“谁出版了这个？主题是什么？注意力机制允许回忆录“关注”句子中所有以前的标记，而不仅仅是紧接在前面的标记。通过计算，注意力机制为过去最相关的代币分配了高额的“注意力分数”（权重），即使它们距离很远。

这似乎很简单，但实际上，在 Google Brain 研究人员于 2017 年发明并慷慨地向世界提供“转换器”机制之前，对大量标记保持上下文感知是一个难题，因为解决方案不完美。突然之间，可以保持注意力的“上下文窗口”随着该窗口中标记之间连接的质量而大大扩展。Transformer 很好地解决了上下文问题，以至于即使 AI 模型随着研究的推进而来来去去，Transformer 也可能会持续相当长一段时间。

现在让我们看看嵌入。嵌入在数学框架中捕获标记之间的语义关系，然后我们可以使用数学来查阅这些关系。想象一下，如果文字就像随机散布在宇宙中的单个恒星。我们知道，在人类语言中，单词并不是孤立的;他们紧密相连。单词和单词组在含义上彼此相关（“狗和小狗”比“狗”和“小猫”更接近），它们可能经常一起出现以表达一个想法，或者它们甚至可能共享语法角色。

我们请求一位伟大的天体组织者来安排所有这些文字星。组织者的任务是理解自有记录的时间开始以来书面人类表达的每一个细微差别——通过观察它们在无数句子中的使用方式，弄清楚每个单词和单词组如何相互关联。

组织者试图将它们排列在我们熟悉的三个维度中，将相关的单词彼此靠近。但它立即失败了！这些关系是如此错综复杂和多方面，以至于要真正忠实地代表它们，每个单词明星都需要同时出现在多个地方。

因此，作为全能的组织者，它极大地扩展了宇宙中的维度数量——从我们通常的三个到数百个，甚至数千个。在这个超维空间中，每个词星都可以有一个唯一的、精确的地址——一个“嵌入”，它可以在数学上表示为向量。现在，所有这些语言复杂性都可以完美地表示，而无需任何单词星号出现在多个位置。在这个新的、巨大的空间中，任何两个单词星越接近，它们的含义和用法在语言中的相关性就越大。

当您为转换器提供文本序列（例如提示）时，它会经历一个多步骤过程，将该原始文本转换为嵌入。首先，文本提示被分解为标记，这些标记并不总是完整的单词;标记可以是子单词单元（如“un-”、“predict-”、“-able”表示“不可预测”）、常用单词，甚至是单个字符。所有单词都是标记，但并非所有标记都是单词。然后，转换器在大天体组织者创建的巨大嵌入空间中查找每个标记，并获取与它们相关的数值——向量。

嵌入是法学硕士表示语言并最终表示有意义的概念的方式。大多数现代法学硕士都基于 transformer 架构——这就是 ChatGPT 中的“T”代表——而 transformer 允许法学硕士像字典一样使用嵌入空间来理解新提示。让我们看看它是如何工作的。

因为 transformer 有“注意力”，所以它们同时处理序列中的所有标记。对于每个标记的嵌入向量，转换器添加位置信息，反映标记在输入文本序列中的位置。然后，它为每个令牌生成一个“查询”（令牌需要或正在寻找什么信息）、一个“密钥”（它可以向其他令牌提供什么信息）和一个“值”（实际信息）。令牌的查询询问输入序列中所有其他令牌的键和值。这确定了输入序列的标记如何相互关联。在上面的示例中，回忆录代币可能与科学家和已发表的代币具有很高的相似度分数，因为这些与了解它是谁的回忆录以及发生了什么高度相关。回忆录的新的、上下文化的嵌入将由与科学家和出版相关的“价值观”严重权重，而由不太相关的词语的价值权重非常轻。

上下文嵌入序列（提示中的每个标记一个，现在包含所有丰富的上下文信息）被输入到“解码器”中，在现代 LLM 中，解码器处理理解和响应生成。解码器是一堆层，可逐步将所有标记及其关系处理成更精细的上下文关系。在通过所有这些层后，最终组件（通常称为语言建模头）为词汇表中每个可能的下一个标记分配一个概率，以便可以识别出最佳的下一个标记。“多头注意力”复制了注意力机制，因此法学硕士可以并行学习不同类型的关系。

现在，LLM 在这种非常有限的意义上“理解”了提示——也就是说，一旦提示被处理成那些丰富的、上下文化的嵌入——LLM 使用它们来执行其主要功能：逐个标记生成连贯且相关的响应。生成过程本质上是 LLM 一遍又一遍地问自己，“鉴于我对提示的完整和深刻的理解，下一条最有可能和最连贯的信息是什么？它根据语言建模头生成的概率分布生成下一条信息——最简单的是，通过选择最有可能成为最佳下一个的标记。

至关重要的是，在问自己问题之前，LLM 会将新生成的标记附加到输入序列中。只有这样，它才会寻找下一个令牌。transformer 中的自注意力机制将再次为这个更新序列中的所有标记创建新的、上下文化的嵌入，确保根据原始查询和新出现的响应来识别下一个响应标记。这个过程继续进行，LLM 自己不断增长的输出被扔回上下文中，直到响应完成。它可以通过对话继续进行，包括人类和 LLM 之间的多轮来回交流。而且似乎，即使在选择下一个代币时，LLM 也会提前计划后续代币，以便整体输出连贯且自然。

结论是......？

C有认知的科学家有时会嘲笑我们的大脑如何工作和法学硕士所做的事情之间的任何比较，认为当我们真正思考时，法学硕士只是一遍又一遍地预测最好的下一个词。正如上面的讨论所表明的那样，这过于简单化了。单词相互关联的方式反映了意义，并且在更大的模式中反映了知识——一种深刻的洞察力。LLM 根据这些联系以及对您告诉它的内容及其自身在制定时的响应进行渐进的、上下文敏感的分析来选择下一个最佳标记。因此，它们“理解”的能力从根本上取决于这样一个前提，即人类的知识和经验可以用文字有效地表达，并在它们之间极其复杂的关系中表示，并且强化训练产生的嵌入可以捕获这些关系并使它们在计算上可访问。

我们可以很容易地识别大脑和变形金刚之间一些引人注目的相似之处。LLM 具有堆叠的解码器块层，这些解码器块可以分层处理信息，从输入中提取越来越复杂的特征。较低的层可以识别单词，而较高的层可以掌握句子结构和语义。嵌入以关系方式组织意义（小狗是狗，小猫是猫）。

大脑皮层的各层也形成了一个分层和关系的处理系统。信息流经这些层，较低的层处理原始的感官输入，较高的层整合和完善这些信息以获得更抽象的认知功能。不同的大脑区域也形成一个功能层次结构，在不同的抽象层次上处理信息（如前面对视觉系统所讨论的那样）。我们根据概念之间的编码关系流畅地分类和检索信息。

由于自注意力机制，变压器可以并行处理输入序列的所有部分。大脑是一台大规模并行的处理机器：神经元并发运行，不同的大脑区域和神经回路并行执行计算。

嵌入以分布式方式捕获语义和上下文信息，因此意义在多个维度上被编码。大脑中的信息被认为以分布式方式在神经元群中表示（尽管我们还不清楚意义是如何从不同大脑区域的许多神经元的协调活动中产生的）。

一切都是真的，但最终都是不令人满意的。即使我们将注意力局限于推理而不是其他认知功能，法学硕士的运作方式似乎都是平滑的、机械的和统计决定的，而我们的大脑似乎是自发的、混乱的，有时甚至是深不可测的，甚至对我们自己来说也是如此。直觉上，我们能识别出大脑和机器之间的每一个相似之处似乎都是肤浅的。人们对大脑的了解可能还很少，但认为变压器和嵌入物模拟大脑功能的方式是牵强附会的，例如风洞可以模拟高层大气。

但这确实是错误的比较，甚至是错误的问题。我们应该评估法学硕士是否能够以人脑的方式思考，并具有与人脑相当的能力，即使法学硕士使用不同的处理和表征策略。让我们这样看。LLM 开发人员已经做出了一个核心赌注，即语言是人类认知的足够丰富和全面的编码，对庞大的语言数据集进行统计学习可以发现并利用这种编码来实现人类水平的智能。我们能否弥合法学硕士基于语言的统计性质与我们对用大脑思考意味着什么的直觉理解之间的概念差距？

我们真的不能——至少不能完全和严格地做到。也就是说，我们不能从第一性原理得出 LLM 处理策略类似于人类认知策略的结论。它们过于不同，LLM 和大脑能力的全部范围可能永远无法完全了解。

但我们可以围绕这个问题发展直觉。如果法学硕士“像我们一样思考”，那么他们的失败应该在某种程度上像人类。如果它们在某种根本方面存在差异，那么它们的失败可能会揭示这些差异。众所周知，法学硕士会产生“幻觉”（编造事实）。人类可能会在测试中作弊，但我们更有可能承认无知，而不是像法学硕士有时那样设计出复杂但容易伪造的问题答案。

另一种有趣的失败模式是分布外泛化，它指的是一个系统（无论是人类还是人工智能）如何推断出它之前遇到过的数据。想象一下，有人只见过传统的四脚木椅。如果他们第一次遇到豆袋椅，他们可能仍然会根据它的功能（可以坐的东西）将其识别为椅子，即使它不符合他们之前学到的视觉模式。相比之下，LLM 根据其训练数据中的模式进行泛化。如果法学硕士已经学会了将椅子与腿联系起来，它甚至可能很难将豆袋椅归类，或者将其描述为“一个大而柔软的躺垫”——错过了人类容易做出的功能抽象。

人类也更擅长开发因果模型。虽然 LLM 可以描述其训练数据中存在的因果关系，但它们不会使用明确的世界因果模型来构建或推理。他们理解“A 导致 B”是因为他们在相关上下文中一起看到了这些词，而不是因为他们对物理现实或世界如何运作有内部模拟。这限制了他们对新情况或反事实进行有力推理的能力。

从这些例子中退后一步，一种模式就会显现出来。如果说 LLM 开发人员在语言、单词关系以及人类在语言表达中捕捉人类经验的无穷无尽的倾向进行了核心赌注，那么大自然则对几乎难以想象的生物复杂性和认知可塑性进行了核心押注。为了让他们的人类在一个充满身体危险和有限资源的世界中生存和居住，大脑进化出一种无情的、临时的、任何有效的控制原则，建立在错综复杂、冗余和多变的连接的混乱之上，共同构成了“已知宇宙中最复杂的活性物质块”（用一位神经科学家的话来说）。

当然，我们人类可以推断出我们具体遇到的之外。当然，我们对世界的运作方式有着深刻的直觉理解。我们的生存取决于它，而幸存下来意味着我们已经发展了这些能力。所以，最后，不行：法学硕士不会、不会、不能像我们那样思考。潜在的机制差异太大，我们在法学硕士方面的持续经验表明，尽管可以缩小，但能力差距是无法弥合的。当然，我们将继续对他们的能力感到目瞪口呆，并越来越服从他们日益令人信服的人性。有时，我们会对机器中的一些“新兴”幽灵大吃一惊，例如法学硕士更改自己的代码以避免被关闭。大多数时候，我们甚至不会注意到法学硕士缺乏那些额外的、来之不易的能力，而这些能力使我们都过于人性化。