纽约大学深度学习的哲学笔记（一）
001：语言模型是否需要感官基础以获得意义和理解
概述
在本节课中，我们将探讨一个核心辩论：语言模型是否需要感官基础（例如视觉、听觉、触觉等）才能获得真正的意义和理解。我们将跟随六位专家的观点，他们分为“需要”（Yes）和“不需要”（No）两方，从技术、认知科学和哲学的角度展开深入讨论。
辩论背景与议题
本次辩论的议题是：语言模型是否需要感官基础以获得意义和理解？我们有三名“需要”方和三名“不需要”方。
-
需要方（Yes）：Yann LeCun（杨立昆，纽约大学）、Brendan Lake（纽约大学）、Jacob Browning（纽约大学）。
-
不需要方（No）：Ellie Pavlick（布朗大学）、David Chalmers（大卫·查默斯，纽约大学）、Gary Lupyan（威斯康星大学）。
发言顺序将交替进行：先是一位需要方，然后是一位不需要方，以此类推。
组织者指出，议题实际上包含两个层面：
-
行为推理层面：是否需要感官和运动连接来完成某些类型的推理行为。
-
抽象内容层面：是否存在一种不需要这些感官和运动基元的抽象内容。
第一节：需要感官基础（Yann LeCun）
当前AI系统的局限性
上一节我们介绍了辩论的背景，本节中我们来看看“需要”方的核心论点。Yann LeCun首先指出，当前基于机器学习的AI系统与人类和动物在学习能力上存在巨大差距。
以下是当前AI系统的主要局限：
-
监督学习需要大量标注样本。
-
强化学习需要海量的试错。
-
我们仍然没有普及的家用机器人和完全自动驾驶汽车，这表明我们缺失了某些关键要素。
相比之下，动物和人类可以：
-
依靠关于世界如何运作的背景知识，极其快速地学习新任务。
-
理解世界，拥有相当复杂的世界模型，能够推理、规划并具备常识。
自监督学习与语言模型的成功与缺陷
自监督学习（SSL）近年来取得了巨大成功，其核心思想是训练系统预测缺失的信息。在文本领域，这表现为掩码语言建模：取一段文本，以某种方式破坏它（如删除或替换单词），然后训练一个巨大的神经网络来预测缺失的单词。在这个过程中，系统学习了包含语义、语法和句法的语言表示。
一个特例是自回归生成模型，例如大型语言模型（LLM）。它们被训练来预测文本窗口中的下一个词（或标记），然后通过反复生成和注入下一个词来生成连续文本。其核心公式可以简化为基于上下文预测下一个标记的概率：P(token_t | token_1, token_2, ..., token_{t-1})。
尽管LLM在许多方面令人惊叹，但Yann认为它们远未达到人类水平的智能。它们存在以下根本缺陷：
-
缺乏对现实世界的知识：它们纯粹从文本中训练，没有关于我们共享的底层现实的知识。
-
自回归的固有缺陷：它们一次只产生一个标记，不进行规划或推理。假设产生一个错误标记的平均概率是
e，那么生成一个长度为n的正确序列的概率是(1 - e)^n。这是一个指数衰减的过程，意味着随着生成序列变长，模型几乎必然会产生无意义的输出。 -
不可控性：很难控制其输出，例如避免毒性内容。
因此，Yann预测，五年后，自回归LLM将被淘汰。我们需要能够理解世界如何运作的系统，这就是基础（Grounding） 的意义所在。
通向人类级AI的路径：世界模型
婴儿在生命的最初几个月，在没有语言参与的情况下，就能学习关于世界本质的极其复杂的概念（如直观物理学、重力、稳定性、有生命与无生命物体的区别）。这种积累的知识构成了我们常识和快速学习能力的基础。
Yann倡导的解决方案是构建围绕世界模型的认知架构。系统拥有一个世界模型，可以预测其行动将导致的世界状态变化。在推理模式下，它可以想象一系列行动可能导致的世界状态序列，然后优化行动序列以最小化特定目标（成本函数）。这类似于最优控制中的模型预测控制，但需要使用学习到的复杂世界模型和可能的分层推理过程。
他提出了一个具体的架构建议，包括：
-
放弃生成模型：对于视频等复杂数据，预测每一个细节是不现实的，应采用联合嵌入预测架构。
-
最小化强化学习。
-
系统需要内在的成本和目标函数，这使其可控，并提供了类似“情感”的功能（即对结果的预期）。
总结：Yann LeCun认为，当前纯文本的LLM存在根本缺陷，无法实现真正的理解和推理。要迈向人类级AI，必须让系统通过感官基础学习世界模型，并具备规划和推理能力。
第二节：不需要感官基础（Ellie Pavlick）
基于实证数据的论点
上一节Yann指出了LLM的理论缺陷，本节Ellie Pavlick将从实证角度提出反驳。她的核心论点是：根据当前已有的经验数据，答案显然是“不需要”。
首先，存在许多“原则上”的论证，说明我们不一定需要基础来获得意义，例如：
-
内在主义论证：拥有意义意味着在头脑中拥有概念和词汇之间的正确关联，我们没有充分理由认为语言模型不能学习人类拥有的同类关联。
-
继承的基础：人类也通过从其他有基础的人那里学习来继承许多有基础的意义（例如，许多人能使用“橡树”和“榆树”这两个词，却无法在现实中区分它们）。
Ellie选择聚焦于具体的模型，并审视经验数据。
论点一：添加感官基础并未带来改进
如果感官基础对意义至关重要，那么添加了感官输入的多模态模型应该在相关任务上表现更好。但实证研究表明并非如此。
她和同事进行了一项严格控制的研究，比较了纯文本模型和具有相同架构、相同数据量但添加了视觉输入的模型。他们在多个任务上进行了测试：
-
物理常识推理任务：设计初衷是为了证明LLM需要感官基础，但添加基础后模型并未表现得更好。
-
语义探测任务：如语义角色、共指消解。
-
形容词-名词关联任务：如模型是否知道“苹果”是切开的还是完整的。
结果：在所有任务和指标上，两个模型的性能极其相似。添加感官数据并没有改善模型对意义的表示。
论点二：语言模型的表征已接近感官基础下的表征
我们可以进一步检查语言模型内部学习到的表征结构。研究发现，这些表征与通过感官基础获得的意义表征非常相似。
例如，在颜色领域：
-
语言模型在文本空间中学习了一个概念几何结构（例如，知道“深”这个方向能将“蓝色”映射到“深蓝”，将“绿色”映射到“深绿”）。
-
通过向模型展示少量基础示例（如“这是蓝色”、“这是深蓝色”），它可以学习将文本空间中的“深”方向映射到感知空间，并推断出“深绿色”应该对应哪种颜色。
-
实验表明，即使在最具挑战性的设置下（训练数据只来自颜色空间的某个子空间），模型在原始世界和“旋转”后的世界中，性能都显著高于随机基线。这表明模型内部发生了正确的映射推理过程。
为了回应“RGB代码本身已是符号表示”的质疑，后续研究使用了原始图像编码（像素）作为输入。他们冻结了预训练的图像编码器和语言模型，只训练一个线性投影层，将图像表征映射到语言模型的输入空间。结果发现：
-
这种简单的“事后基础”方法，在图像描述和视觉问答任务上，与从头开始训练的多模态模型性能相当。
-
即使使用完全没有语言参与训练的自监督视觉模型（如通过填补图像块训练的模型），也有相当多的语义信息能够成功转移到语言模型。
总结：Ellie Pavlick认为，存在强有力的原则性论证反对“基础是意义的必要条件”。更重要的是，当前经验数据表明：（1）添加感知信息并未改善模型对意义的表示；（2）语言模型学习到的表征结构与通过感官基础获得的结构高度相似，并且可以很容易地在事后进行基础连接。
第三节：需要感官基础以像人一样理解词语（Brendan Lake）
人类理解词语的丰富性
上一节Ellie从模型行为角度论证了“不需要”，本节Brendan Lake将提出一个更具体的观点：语言模型是否需要感官基础来像人一样理解词语？他的答案是肯定的。
他承认今天的LLM非常惊人（例如GPT-4可以解读论文图像并总结），但问题在于“意义和理解”的含义。未基础化的模型确实学到了很多关于词语用法和关系的信息，但根据定义，它们与外部世界没有联系。传统的语言学观点认为，这种指称外部世界的联系对意义至关重要。
Brendan与同事Greg Murphy合著的论文指出，当一个人知道一个词（如“雨伞”）的意义时，他拥有一个概念（指向世界中某个类别的心理表征）。这个概念支持多种灵活的行为：
-
描述场景和理解描述：可以识别各种场景中的雨伞并谈论它们。
-
根据指令和请求做出适当反应：听到“递给我那把刀”，你会做出相应动作。
-
根据内部欲望、目标和计划选择词语：你想表达“我想要一把黄油刀”。
-
根据语言输入改变对世界的信念：听到“叉子放左边，刀子放右边”，你会更新关于餐具摆放的知识。
当前模型的不足
尽管具有视觉编码器的模型可以描述常见场景中的雨伞，但人类的概念要丰富和灵活得多。例如：
-
临时雨伞测试：动物在雨中会用大叶子或蘑菇遮雨，这体现了“雨伞”概念的类比延伸。而图像描述模型通常无法识别这些场景为“雨伞”。
-
更抽象的用法：如“美国的核保护伞”、“伞形组织”等，这需要更深层的概念理解。
Brendan提出了衡量人类词语理解的四个标准，并指出纯文本模型在多个方面存在不足：
-
缺乏内部目标：LLM被设计为基于文本模式做出反应，没有自己的欲望、目标或计划。
-
对指令反应的局限性：在网格世界实验中，模型难以学习“走”、“大/小”、“谨慎地”等词的抽象、灵活和关系性含义，泛化能力差。
-
信念不一致：早期模型（如BERT）对同一事实（如“海豚是哺乳动物吗？”）的回答会因提问措辞的微小变化而矛盾。虽然最新模型有改进，但距离人类稳定、一致的信念仍有差距。
总结：Brendan Lake认为，纯文本系统能做惊人的事，但要像人一样理解词语，其表征必须基于能与世界接触并用于谈论实际事物的信息。开发能够灵活支持上述四种行为标准的词语表征，是一项非平凡但极具价值的事业，尤其是如果我们想要真正理解我们并能与我们进行更有成果的交互的机器。
第四节：不需要感官基础——但情况复杂（David Chalmers）
哲学史上的争论
上一节Brendan强调了人类理解的丰富性，本节David Chalmers将从哲学史切入，提供一个更 nuanced（微妙）的视角。他的总体答案是“不需要”，但情况复杂。
历史上，关于思维是否需要感官基础一直存在争论：
-
需要方：13世纪的托马斯·阿奎那认为“心灵中的一切无不首先存在于感官之中”。现代的Emily Bender和Alexander Koller也认为LLM缺乏感官基础，没有意义或理解，只是“随机鹦鹉”。
-
不需要方：11世纪的阿维森纳提出了“漂浮的人”思想实验：一个突然出现、没有感官的人，仍然能意识到自己的存在。这表明，原则上，没有感官也能进行某些思考。
David认为，一个没有感官的系统（如阿维森纳的漂浮者）原则上可以：
-
思考自身、数学、逻辑、哲学。
-
对外部现实、其他心智、科学理论形成假设。
-
对感官事物（如红色）或具身技能（如骑自行车）拥有部分的结构性理解，尽管不是完整的体验性理解。
感官是否能将思维提升到新高度？
David将问题转向另一个层面：感官是否能将语言模型的思维提升到一个无法通过纯文本达到的新高度？ 这需要比较纯语言模型和多模态模型。
十年前，人们普遍认为多模态系统在认知和推理任务上会远优于纯文本系统。但LLM的发展出乎意料：纯文本模型在许多非语言任务上表现出色，展现出通用智能的迹象。
关键问题是：多模态模型在它们共享的领域（如纯文本任务）上是否显著优于纯语言模型？
-
GPT-4的技术报告显示，带有视觉的版本和不带视觉的版本在大多数标准化考试上成绩几乎相同，视觉版偶尔只有微小提升。
-
他以一个需要空间推理的“齿轮转向”问题为例，GPT-3曾出错，但GPT-4（纯文本版）完美解决了。这虽然不能证明什么，但说明了纯文本模型能力的边界在不断扩展。
因此，他的结论是：虽然感知显然能提供额外数据（一图胜千言），但如果足够的对应文本数据能够匹配多模态模型的性能，那么感官似乎并没有将思维提升到一个没有它就无法达到的新水平。
理解的概念需要重新审视
最后，David指出，要回答“LLM是否真的理解”，我们可能需要进行概念工程，而不仅仅是软件工程。我们需要设计新的“理解”、“思考”、“意义”概念。例如，区分：
-
P-理解：表现得好像理解了。
-
E-理解：体验到好像理解了。
当前的语言模型可能在一定程度上达到了P-理解，但几乎肯定没有E-理解。
总结：David Chalmers的结论是：
-
语言模型是否需要感官基础来进行思考和理解？ 不需要（就某些思考而言）。
-
某些类型的思考和理解是否需要它？ 需要。
-
感官是否能为语言模型的思维提供无法通过其他方式获得的基础性提升？ 不会。
-
当前的语言模型是否真的理解？ 尚无定论。
第五节：需要感官基础——基于认知架构的论证（Jacob Browning）
从历史错误中学习：逻辑主义与认知
上一节David从哲学原则分析了可能性，本节Jacob Browning将从认知科学和AI历史的角度论证“需要”感官基础。
1966年MIT的“夏季视觉项目”失败，其背后的假设是：认知本质上是语言性的，而非语言过程（如感知、行动）则是非认知的且更容易解决。这种观点源于近代哲学和逻辑主义传统，他们认为：
-
所有思想都是命题性的。
-
所有知识都是语言性的。
-
世界可以通过逻辑句子完全数字化（如鲁道夫·卡尔纳普的《世界的逻辑构造》）。
这个项目失败的原因是，在可形式化的领域（如用三维空间定义颜色）的成功，与从像素值中识别人脸、理解其表情内容毫无关系。后者需要构建一个完整的视觉系统来进行解释。
三种表征格式及其局限性
Jacob指出，存在三种不同的表征格式，各有优劣：
-
语言表征：擅长使用变量绑定、组合和离散符号来表示高度抽象的关系（如自然法则）。公式示例：
∀x (Mammal(x) → WarmBlooded(x))。但无法表征具体、连续的感官细节。 -
图像表征：通过同构性（相似性）来表征，能传达关于形状、大小、位置、运动等详细信息。但难以描绘“正义”、“自由”等抽象概念。
-
分布式表征（如神经网络）：通过形成领域的统计模型来工作，擅长技能性知识，但难以处理严格的逻辑规则，在命题性知识上较弱。
逻辑主义计划高估了语言格式的普遍性，低估了其他两种格式的重要性，并忽视了动物和婴儿的认知、技能性知识以及情绪状态。
更合理的模型：实用主义与工程视角
Jacob提出了一个受达尔文进化论和实用主义启发的替代模型：
-
认知的核心是行动和预测，感知是对世界进行分类，并做出技能性反应以在环境中生存。
-
语言首先是一种社会性技能，是用于在主体间沟通的工具。沟通的有效性依赖于大量的背景知识、相似的具身经验、文化等。
-
语言后来才演变为脱离语境的媒介（如故事、写作），用于存储大量信息和复杂规则。
从这个“工程模型”来看，很多知识都蕴含在对图像表征的理解和具身技能中。这解释了：
-
为什么构建自动驾驶汽车和玩《我的世界》如此困难（需要广泛的非语言理解）。
-
为什么构建一个成功的聊天机器人主要是一个缩放问题（主要处理语言性任务）。
-
为什么LLM擅长写诗，却在儿童能轻松解决的简单工程问题上表现糟糕。
总结：Jacob Browning认为，语言理解是人类更广泛的、多模态的、直观的世界理解中的一个重要但有限的部分。在人类身上，语言理解预设并依赖于更古老的非语言理解。如果我们想要达到人类水平智能的机器，即使只是两岁孩子的智能，我们也应该超越大型语言模型，寻求更全面的认知架构。
第六节：不需要感官基础——语言本身的丰富性（Gary Lupyan）
抽象词语与感官基础
上一节Jacob强调了非语言理解的基础地位，本节Gary Lupyan将论证，语言本身已经包含了丰富的、甚至抽象的意义，这些意义并不直接依赖于说话者个人的感官经验。
他首先通过调查指出，对于“语言模型是否需要感官基础”这个问题，学界存在明显分歧。他澄清了辩论的核心：问题不在于模型是否通过我们（人类）间接地基础化，而在于它们自身是否需要直接的感官基础。
Gary指出，语言并非单一事物，词语在具体性上构成一个连续统。我们通常认为“自由”、“民主”很抽象，但许多更抽象的词（如“有趣”、“想法”、“麻烦”）在儿童语言中就已频繁使用。那么，“然而”的感官基础是什么？
他引用了一项广泛使用的具体性规范研究，受试者被要求根据词语是否“可以指向或演示”来评价其具体性。数据显示，英语中前8200个高频词里，有大量词比“自由”更抽象，而这些词早在幼儿时期就被使用。
语言模型对抽象概念和关系的把握
针对Brendan的“雨伞”例子，Gary测试了纯文本模型ChatGPT-3。他让模型想象自己是一只森林里的小虫子，下雨时可以用什么当雨伞。模型列举了蘑菇、叶子、草等，与人类扩展的“雨伞”概念高度吻合。这说明，纯语言模型可以从语言中获取概念的核心关系信息。
另一项研究批评LLM因缺乏基础而知识有限，但Gary指出，即使是模型不完美的回答，也蕴含了大量隐含知识，例如：屋顶在高处、沙发会变小、沙发通常无法穿过窗户。这些关于世界的知识是如何获得的？正是通过未基础化的语言间接嵌入的。
感官经验并非意义的唯一来源：以盲人为例
Gary进一步用先天盲人的例子来挑战感官基础的必要性。
-
研究表明，先天盲人与明眼人在词语语义判断上高度相关。
-
一位名叫Tommy Edison的先天盲人博主解释“透明”时，不仅能理解其隐喻义（“透明的政府”），还能通过学校教育和他人的语言描述，列举出玻璃、水等透明物体，并讨论其视觉特性（尽管他承认无法完全理解“看穿”的体验）。
这表明，通过语言交流，没有某种直接感官经验的人也能获得关于该感官领域概念的深刻、有意义的理解。
总结：Gary Lupyan认为，儿童最早的语言确实是高度基础化的，但随着他们开始产生更有意义的语言，语言迅速变得极其抽象。大量词语的核心意义并非关于对外部事物的指称，而是关于关系。先天盲人对视觉相关词语的理解表明，感官经验并非意义的唯一来源。语言本身就是一个丰富的信息源，能够传递关于世界的结构化知识。
小组讨论与观众问答精选
在随后的讨论中，几位讲者就一些核心问题进行了交锋：
-
规划与自回归的缺陷：
-
Yann：LLM逐词生成，计算量固定，无法进行长程规划以确保全局一致性，错误会指数累积。需要“系统2”式的推理架构。
-
Ellie等反驳：LLM可以通过注意力机制在早期层为后期生成做准备，这是一种形式的规划。且人类思维也并非完全计划后执行，常是边做边调整。
-
-
“基础”的定义：
-
David：可分为感官基础、身体基础、外部基础。辩论多聚焦于感官基础。
-
Yann：直接感官输入带宽高，信息丰富；语言是低带宽、离散化的近似。许多知识（如木工技能）从未被语言充分表达。
-
-
效率与最终状态：
-
观众：理论上，任何图像信息都可以用语言精确描述（如逐像素列出RGB值），因此多模态输入并非本质不同，只是数据形式。
-
Yann：这涉及效率问题。用语言描述所有像素给Transformer，在原理上可行，但效率极低，不实用。
-
Ellie：如果最终获得的知识表征相同，那么效率低并不妨碍模型获得意义和理解。关键在于过程差异是否导致最终状态的可衡量差异。
-
-
人类反馈强化学习的作用：
-
观众：当前LLM经过RLHF微调，以产生更真实、有用的输出，这是否让它们学习了更涉及世界的函数？
-
Yann：RLHF有助于纠正常见问题的答案，但对于长尾的、未见过的提问类型无能为力，根本解决方案是改变模型架构，使其在推理时能够优化目标。
-
David：RLHF可能影响模型是否拥有知识（倾向于说真话），但不一定影响其是否拥有概念和意义。
-
-
道德推理是否需要基础：
-
David：原则上，道德思考可能不需要感官基础。
-
Gary：在完全不了解外部世界的情况下思考道德，令人不安。
-
Ellie：感官有时会损害思维（如对可爱动物的偏爱影响道德判断）。语言对世界的分类和抽象，可能为某些推理提供了更“纯粹”的关系数据。
-
总结
本节课中，我们一起深入探讨了“语言模型是否需要感官基础以获得意义和理解”这一核心问题。
-
需要方（Yann, Brendan, Jacob）认为，当前纯文本LLM存在根本局限（缺乏世界模型、无法规划、难以泛化到具体和抽象场景），要获得人类般的丰富理解和灵活智能，必须让AI通过感官与真实世界互动，学习多层次的世界模型和具身技能。
-
不需要方（Ellie, David, Gary）则认为，从原则上看，意义不一定锚定于个人感官；从实证上看，当前LLM从纯文本中学习到的表征已显示出惊人的意义结构，与感官基础下的表征相似，且添加感官输入并未带来预期中的性能飞跃。语言本身就是一个蕴含世界知识的丰富系统。
辩论揭示了AI研究中的深刻张力：是应该让AI模仿人类从具身经验中学习的高效路径，还是可以接受它们通过消化人类全部文本遗产这条“异化”但有效的路径来获得智能？ 双方都同意，当前LLM并非人类智能的完整形态，但对其缺陷的根源和未来发展方向提出了不同的诊断和处方。这场辩论不仅关乎技术路线，也促使我们重新思考“意义”、“理解”和“智能”这些基本概念本身。
002：温和经验主义与深度学习
概述
在本节课中，我们将探讨深度学习与哲学中经验主义传统的深刻联系。我们将看到，当前深度学习研究的主流方法，并非如一些批评者所言是简单的“行为主义”或“白板说”，而更接近于一种植根于哲学史的“温和经验主义”。这种观点认为，智能体通过内置的、领域通用的认知“官能”或架构，从丰富的感官经验中学习并提取出领域特定的抽象知识。
辩论的焦点：先天论 vs. 经验论
长久以来，关于人类知识来源的哲学辩论一直在“先天论”与“经验论”之间展开。先天论者认为，我们的大部分核心知识（如语言、物理直觉）是与生俱来的。经验论者则认为，知识主要来源于后天的感官经验。
在人工智能领域，这一古老的辩论以新的形式重现。例如，AlphaGo Zero论文中提到的“白板”（Tabula Rasa）概念，直接源自亚里士多德的经验论传统。批评者如Gary Marcus则针对这一观点，认为我们需要为AI系统预先构建更多核心知识。
这本质上是一个关于“我们应该在模型开始时内置多少知识”的方法论之争。
重新定义辩论：领域特定 vs. 领域通用
上一节我们介绍了这场辩论的宏观背景。本节中，我们来看看如何更有效地界定这场辩论。
我认为，将辩论简单地框定为“是否有任何东西是先天内置的”并不有益。一个更有用的框架是：先天内置的知识或机制是“领域特定”的还是“领域通用”的？
-
领域特定：指专门为处理某一类问题（如物理、语言、社会推理）而设计的、内置的知识或学习机制。
-
领域通用：指可以应用于多种不同领域和任务的内置机制或架构，如记忆、注意力、想象力。
历史上的主要经验主义者（如洛克、休谟）实际上都是“官能心理学家”。他们相信，心灵拥有一套领域通用的官能（如感知、记忆、想象、注意力），正是这些官能协作，从经验中提取出抽象概念。他们反对的是内置大量领域特定的“先天观念”，而非反对任何内置结构。
因此，当前深度学习的温和经验主义立场可以概括为：我们拥有由领域通用的归纳偏置所引导的领域通用官能（通过神经网络架构实现），这些官能足以从丰富的、结构化的环境输入中，提取出领域特定的抽象知识。
经验主义的核心：转换原则
那么，什么是温和经验主义的核心信条呢？许多人会引用休谟的“拷贝原则”：所有简单观念都源自与之对应的简单感觉印象。
但这是一种过于简化的解读。休谟和其他经验主义者都允许心灵对感觉印象进行更复杂的操作。休谟曾写道：“没有什么比人类的想象力更自由的了……尽管它不能超越感官提供的原始观念储备，但它拥有无限的能力去混合、组合、分离和划分这些观念。”
因此，我建议将经验主义的核心信条重新表述为 “转换原则”：
心灵的简单概念源于对感觉印象进行的、系统的、领域通用的转换。这些转换过程可以内置领域通用的归纳偏置。
深度学习模型，如卷积神经网络（CNN），正是这一原则的体现。它们通过卷积、池化等领域通用的操作，对原始感官输入（如图像像素）进行层层转换，最终形成能够识别物体（如“三角形”）的抽象表征。
抽象的方法：从哲学到算法
经验主义者不仅提出了抽象的必要性，还具体描述了抽象是如何发生的。有趣的是，这些哲学描述与深度学习中的操作有着惊人的对应。
以下是几种历史上提出的抽象方法及其在深度学习中的体现：
-
抽象即组合：洛克认为，我们可以从简单的抽象组件（如“线”、“角”）组合成更复杂的概念（如“三角形”）。
- 深度学习对应：卷积操作。它通过权重组合上一层的简单特征，来检测更复杂的特征。
-
抽象即减除：洛克提出，通过比较多个具体实例，减除它们之间的差异，保留共同点，从而得到抽象概念。
- 深度学习对应：最大池化操作。它从同一特征的不同检测器中选取响应最强的，忽略具体的位置等细节变化，从而获得对特征更鲁棒的表示。
-
抽象即不变性：休谟的方法，寻找在系统化变换下保持不变的性质。
- 深度学习对应：深度层级本身。网络越深，其高层表征对输入的低层 nuisance variation（如位置、光照）就越不敏感，越接近于捕捉不变的本质特征。
深度卷积神经网络的高效性，正源于它通过层级结构，连续地应用这些领域通用的操作，逐步构建出越来越抽象的表征。
超越视觉：构建理性主体的认知架构
然而，仅凭视觉处理模型（如CNN）远不足以构成一个完整的理性主体。它们存在样本效率低、脆弱、难以进行因果推理等局限。
历史上的经验主义者同样担心这些问题，并提出了通过整合更多领域通用官能来构建完整认知架构的解决方案。这与我称之为 “新经验主义信条” 的策略不谋而合：领域通用的模块化认知架构。
其核心思想是：通过组合多个具有不同计算特性的、可训练的神经网络模块（每个模块对应一个领域通用官能），来弥补单个架构的不足，从而实现更灵活、高效、有洞察力的理性行为。
以下是几个官能如何帮助解决现有模型局限的例子：
-
记忆：存储成功的经验轨迹，用于离线学习和快速、情境敏感的决策。
-
想象力：组合新颖的想法，进行离线模拟学习，基于对未来或反事实可能性的想象做出选择。
-
注意力：实现更高效、有选择性的输入处理，将特征绑定为整体，近似变量绑定操作，协调跨模块的控制问题。
案例研究：记忆与想象力
让我们通过两个具体例子，看看如何将历史哲学思想与现代深度学习架构联系起来。
阿维森纳的记忆与DQN
中世纪哲学家阿维森纳发展了亚里士多德的抽象理论，他强调记忆不仅存储信息，还存储与之相关的情感价值（强化信号），这对于离线决策至关重要。这与DeepMind的DQN（深度Q网络）架构惊人地相似。DQN中的经验回放缓冲区存储了（状态，动作，奖励，新状态）这样的元组，使智能体能够通过离线回放进行更高效的学习，并避免灾难性遗忘。这正体现了阿维森纳所设想的、与情感价值绑定的记忆在理性选择中的作用。
休谟的想象力与生成模型
休谟面临一个挑战：我们如何形成从未经验过的概念（如“独角兽”）？他的答案是想象力——自由地组合和转换简单观念的能力。他认为想象力虽然自由，但依然遵循某些原则。今天，生成对抗网络和变分自编码器等生成模型，通过从抽象潜在空间反向解码，生成无数新颖、具体的图像，直观地展示了这种“逆向抽象”的过程。此外，通过向量插值（如 [男人+眼镜] - [男人] + [女人] = [戴眼镜的女人]）和结合Transformer来建模长程组合关系，现代模型正在实现休谟所设想的、更具组合性的想象力。
前沿与展望：注意力与社会认知
在某些方面，历史经验主义者的思考甚至走在了当前深度学习实践的前面，这为未来的研究提供了灵感。
威廉·詹姆斯的注意力
哲学家威廉·詹姆斯将注意力分为“有机调节”和“观念准备”。后者尤为有趣：它是由“与注意对象相关的观念中枢”发出的预期性准备。这本质上是一种预测处理观点：在注意焦点投向某物之前，想象力已经尝试猜测那里会有什么，并形成一个“心理模板”来接收外界印象。当前深度学习中的注意力机制（如Transformer的自注意力）主要关注重新加权现有信息。詹姆斯的观点提示我们，一个更完整的注意力模型应整合由目标驱动的、基于世界模型的主动预测，这可能通过将Transformer作为协调多模块的“内部独白”或“内心言语”来实现。
亚当·斯密与德·古日希的道德情感
在社交与道德认知方面，以亚当·斯密和索菲·德·古日希为代表的“情感主义”经验论者提供了富有洞见的路径。他们认为，道德推理的核心是一种从多视角进行的同情共感模拟，最终使人获得一种“公正的旁观者”视角。德·古日希特别强调，这种对他人的关怀始于婴儿与照料者之间最早的、前反思的情感互动。这启示我们，AI的社会认知研究不应过早聚焦于“错误信念 attribution”等复杂的心理理论任务，而应首先建立在受控养育和课程学习之上，让智能体像儿童一样，通过阶段性的社会互动，学习使情感反应对社会干扰变量保持鲁棒，逐步发展出社会性。
总结与启示
本节课中，我们一起学习了如何用“温和经验主义”的哲学框架来理解深度学习。
核心总结如下：
-
拒绝简单标签：深度学习并非“新行为主义”或“极端经验主义”。主流研究体现的是一种承认内置领域通用架构的温和经验主义。
-
核心框架：智能依赖于由领域通用归纳偏置引导的领域通用官能，从经验中提取领域特定知识。
-
历史是资源：经验主义哲学家的细致工作（关于抽象、记忆、想象、注意力、社会情感的论述）能为AI架构设计提供丰富的灵感和概念框架。
-
未来路径：实现更通用智能的关键，在于以认知架构的方式，系统性地整合多种实现不同官能的神经网络模块，并解决它们之间的协调与控制问题。
因此，当有人声称深度学习只是“斯金纳箱”的复刻时，我们可以更有底气地指出：它实际上延续并正在实现一个更为悠久、复杂且充满洞见的哲学传统——温和经验主义——的工程蓝图。对于AI研究者而言，主动深入地挖掘这份哲学遗产，或许能为构建更强大、更灵活的智能系统照亮前路。
003：表面上成功的深度神经网络模型是否真正具有解释性？
在本节课中，我们将探讨一个核心问题：那些在行为上表现卓越的深度神经网络模型，其成功是否源于它们真正理解了世界，还是仅仅在模仿表面模式？我们将通过分析“内部表征”这一概念，来评估这些模型是否具有解释性。
概述：模型成功与解释性之谜
深度神经网络模型在许多任务上取得了显著成功。然而，这引发了一个哲学与科学交织的问题：它们的有效性是源于构建了关于世界的准确模型，还是仅仅在模仿某些不重要的方面？这个问题可以概括为：这些模型是“货真价实”的，还是在“假装”？
为了回答这个问题，一个自然的思路是借鉴我们理解人类心智的方式：检查其内部状态。如果深度神经网络拥有与我们相似、并扮演相似功能角色的内部状态，那么这至少是它们“货真价实”的初步证据。
模型与人类的相似性：以视觉和语言为例
上一节我们提出了通过内部表征来评估模型真实性的思路。本节中，我们来看看两个具体领域的例子。
卷积神经网络与人类视觉
卷积神经网络在图像分类任务上表现优异。研究发现，这些网络中间层的激活状态，可以很好地预测大脑中特定区域的神经活动。这令人惊讶，因为模型并未被训练去做神经预测。
公式/代码示例：假设一个CNN的某一层激活向量为 A，大脑视觉皮层的神经活动模式为 B。研究发现存在一个映射函数 f，使得 f(A) ≈ B 的预测精度很高。
这表明，在图像分类和产生与大脑相似的内部模式方面，CNN与人类“相关地相似”。然而，它们也未能解释许多人类视觉心理物理学的结果，说明这种相似性是局部的、不完整的。
大型语言模型与人类语言
这是昨天辩论的核心。我们可以从两个层面提问：
-
形式能力：模型输出是否符合句法和语义约束？
-
功能能力：模型输出是否尊重语用和情境约束？
答案通常是：有时符合，有时不符合。它们在形式能力上可能表现更好。因此，仅从行为看，语言模型与人类的相似性也是“部分是，部分不是”，并非简单的二元答案。
如果我们要问更深层的问题——它们是否像我们一样拥有世界模型来结构化其行为——就需要考察其内部表征。
解释性项目的框架：从目标到模型
为了系统性地评估模型的解释性，我们可以建立一个框架。
在框架的左侧，是我们的解释目标：人类接收感知输入，产生行为（包括语言），其大脑神经活动被认为是这些能力的基础，并且我们相信这些神经活动对应着某种世界模型。
在框架的右侧，是我们的候选解释模型：例如一个语言Transformer，它也有内部激活。我们要问的是：这些内部激活是否构成了它的某种世界模型？
如果答案是肯定的，并且两个系统的世界模型是相同的，那么这个人工智能模型就是解释目标的一个良好解释模型。如果世界模型不同，结论则需要更细致地分析。
表征的困境：我们如何知道某物拥有内部模型？
上一节我们建立了解释性评估的框架，其核心在于判断模型是否拥有“世界模型”。本节中，我们深入探讨这个核心概念本身：我们究竟如何断定一个系统（无论是人还是机器）拥有内部表征或世界模型？
一个直觉的回答是：观察其行为。例如，规划行为是拥有内部模型的一个强有力行为标志。在认知革命中，我们正是通过某些特征性行为来推断其他生物拥有内部模型的。
但这似乎陷入了循环：我们想用内部表征来判断模型是否“真”的理解，但判断内部表征是否存在却又回到了行为。行为更像是诊断工具，而非构成性条件。我们诉诸表征，是希望获得一种捷径，来预测系统在新情境下的行为，而不必穷尽所有行为测试。
那么，除了行为，我们还应该看什么？主要有两种进路：
-
应用自然化的表征理论：例如，根据信息携带或功能角色来赋予内容。但这种方法常常无法给出确定的、公认的内容赋值。
-
考察科学实践：看神经科学家和认知科学家在实际中如何为大脑状态分配表征内容。他们通常依赖两个标准：
-
可解码性：能否从内部状态中解码出关于环境或任务的信息。
-
可操纵性：能否通过操纵该内部状态，按照表征理论预测的方式改变系统的行为或输出。
-
科学实践中的表征：以探针为例
在神经科学实践中，“探针”是我们探测和解读内部状态的关键工具。
-
早期：使用钨丝电极，发现了初级视觉皮层中的“边缘检测器”。
-
现代：使用Neuropixels等多触点电极或fMRI，获取海量数据，再从中解码功能相关信息。
-
人工智能：在Transformer中，“探针”可以是一个需要单独训练的解码器，用于识别内部激活的模式与任务中有意义元素的对应关系。
这些例子表明，我们能从系统内部解码出的模式，相对于我们所使用的探针。更复杂的探针能发现简单探针无法发现的模式。但这也带来风险：过于复杂的探针可能“发明”出本不存在的模式。
因此，即使进行了严格的对照实验，也不存在完全独立于探针的、“客观”的模式存在事实。只有相对于我们所用工具的、对我们而言显著的模式。
表征的实用主义观点
鉴于上述事实，在将表征归属于某个系统时，我们必须考虑一些实用因素：
-
因果参与：该活动模式必须与感兴趣的行为有因果关联。
-
表征层面的可操纵性：应能通过操纵该活动模式来操纵其表征内容，并产生符合表征理论预测的结果。
结合“模式是相对于特定探针被发现”这一点，我们得出的结论是：一个系统是否拥有表征、拥有何种内容的表征，是相对于所使用的探针以及我们寻找表征的“解释目的”而言的。
这听起来有些“怎么都行”。为了收紧标准，我们可以限制允许使用的探针类型（例如只允许线性解码器），或进行严格的对照实验（例如确保探针无法从明确不具备该属性的网络中解码出信息）。一个有用的启发是：那些类似于大脑中下游处理过程的探针，对于解释行为更具科学意义。
无论是物理探针、机器解码器还是大脑的下游处理过程，其本质是相同的：它们的目标都是将神经活动“解读”或“翻译”为具有表征意义的内容。解读的成功与否，决定了相对于该解码器而言，表征是否“真实”存在。
这一观点使得表征看起来不如最初想象的那么“客观”和“实在”。它也可能削弱我们希望通过表征在不同系统间进行解释性概括的初衷——如果每个系统都需要完全不同的解码器才能发现“相同”的表征，那么这种概括的科学价值就会降低。
案例研究：奥赛罗游戏Transformer
尽管存在上述复杂性，该框架仍能给出有启发性的分析。以下是一个来自GPT类模型研究的具体案例。
研究人员训练了一个模型来预测奥赛罗游戏对局的文本续写。他们发现，当模型成功预测时，可以其内部状态中解码出对当前棋盘状态的表征。
关键发现：
-
需要使用非线性探针才能较好解码，线性探针效果不佳。
-
与随机网络相比，训练好的网络能用非线性探针解码出更准确的棋盘状态，这构成了一个有效对照。
-
他们操纵了这些被认为是棋盘表征的内部状态，发现模型对下一步落子位置的预测也随之改变，满足了可操纵性标准。
这个案例支持了一种观点：模型在变得足够擅长预测任务的过程中，免费地获得了对世界的表征。成功并非凭空而来，其内部必然有追踪任务关键信息的状态。
成功 vs. 真实：一个古老的哲学争论
上一节的案例似乎支持“成功蕴含真实”的观点。本节中，我们将其置于更广阔的哲学背景下来看。
对深度模型的质疑（如“随机鹦鹉”、“只是下一个词预测”、“只是曲线拟合”）让人联想到科学哲学中的古老争论：
-
工具主义 vs. 实在论：理论的成功是否意味着它为真？
-
现象模型 vs. 解释模型：模型是仅仅重述数据，还是揭示了产生现象的机制？
-
行为主义 vs. 认知主义：行为背后是否真的有内部认知状态？
-
基于模型的强化学习 vs. 无模型强化学习：智能体内部是否有可独立操作的世界模型？
-
作弊 vs. 真正理解：在考试中，背诵所有答案与真正理解知识有何区别？
我认为，在这些对比中，界限并非泾渭分明。如果你“作弊”得足够好——记住了所有可能的考题答案——你实际上已经拥有了与“理解”所赋予的同等事实性能力。同样，通过无模型强化学习穷尽所有状态-行动组合所获得的策略，在行为上与拥有完整世界模型的智能体等效。原则上，你也可以从其内部状态中解码出环境信息。
关键在于效率、可更新性以及内部状态的形式。拥有清晰、优雅结构的内部模型通常更高效、更具概括性，但行为上的成功本身并不绝对地区分这两种情况。
重新审视问题：从二元对立到连续谱
让我们回到最初的框架：聊天机器人是人类语言使用者的良好解释模型吗？
与其在“是”（真正具有解释性）和“否”（完全不像）之间做二元选择，不如将其视为一个连续谱。正确的回答通常是：它们在某些方面是相似的，解释了某些部分。
我们应该问更细致的问题：
-
哪些方面相似？ 两个系统的内部状态共享哪些功能角色？
-
哪些内容共享？ 它们的世界模型是否相同？是否都为真？
-
模型对其自身任务是否良好？ 它的世界模型是否支撑了其在训练任务（如词语预测）上的成功？
-
模型的目的与我们的目的是否一致？ 我们说话的目的不仅仅是预测下一个词。
因此，我们可以有意义地将世界模型归属于人工智能系统，理由与我们将其归属于动物或自身相同（基于行为及与行为系统相关的内部状态模式）。但这不意味着它的世界模型与我们相同，或它的词语意义与我们完全一致。正如维特根斯坦所说，如果狮子会说话，我们也无法理解。一个具有不同兴趣、以不同方式划分世界的系统，即使用着我们的词语，也可能在以迥异的方式使用它们。
我们应该问什么？替代性问题总结
本节课中，我们一起探讨了深度神经网络模型的解释性问题。我们绕过了“它们是否真正理解？”这种二元问题，转而支持一系列更富成果的替代性问题：
-
模型捕捉了解释目标的哪些方面？ （例如，CNN捕捉了人类视觉能力的一小部分但很重要的方面。）
-
模型在多大程度上捕捉了这些方面？ 它对试图解释的数据的方差解释度如何？
-
在何种假设下（包括关于何为表征的假设）？
-
模型的稳健性、泛化能力和效率如何？
这些问题本身在评估一个模型作为模型（而非作为对人类威胁或复制品）的价值时，就具有独立的科学意义。
004：深度学习系统中的表征
概述
在本节课中，我们将探讨深度学习系统中的表征问题。我们将从最简单的词嵌入模型（如Word2Vec）入手，逐步分析如何为神经网络构建一个关于表征的理论。我们将讨论目的语义学在理解神经网络表征中的应用，探索如何通过干预和探测来验证表征的存在与内容，并思考深度学习模型是否拥有概念。通过本次课程，我们希望为理解复杂深度学习系统的内部表征提供一个初步的、可操作的理论框架。
1. 目的语义学与词嵌入模型
上一节我们概述了课程目标，本节中我们来看看如何为最简单的神经网络模型——Word2Vec——构建一个基于目的语义学的表征理论。
我们的第一位演讲者是来自奥斯陆大学的芬顿·马洛里。他通过Zoom远程参会，演讲主题是“神经词嵌入的目的语义学”。
首先需要明确的是，Word2Vec只有三层，并非一个真正的“深度”学习系统。但本次演讲旨在为一种方法论上的渐进主义辩护：我们尝试为最简单的系统发展理论，然后逐步扩展以处理更复杂的表征。这有助于我们理解更复杂计算设备带来的新功能，也有助于理解该领域的历史，因为许多近期神经语言建模工作都始于Word2Vec。
那么，为深度神经网络（特别是大语言模型）构建表征理论意味着什么？我们假设网络表征的内容存在客观事实，这正是我们想要研究和理解的对象。对此感兴趣有几个原因：如果你关注通用人工智能，就需要某种标准来区分人工智能真正的原始意向性与我们仅仅归因于它或误解的内容；如果你认为某种形式的语义内在论是正确的，并认为我们对大语言模型生成文本内容的解释应受模型内部表征的约束，那么你就需要为这些内部表征建立一个理论。
关于表征理论，我们大致可以提出三个要求：第一，它能够解释表征在系统操作中所扮演的角色；第二，它能够约束我们归因于模型的表征内容，避免过度解读；第三，它能够统一当前文献中存在的各种探测方法，如完形填空、探测分类器、彩票假设和注意力头剪枝等。这些方法都试图探究系统内部的表征，而表征理论应能说明这些方法如何共同揭示同一事物。
接下来，我将假设一种最小形式的目的语义学。如果你不喜欢目的语义学，或者认为它不适合理解人类认知或中枢神经系统的表征，这没关系。我首先将为目的语义学在简单神经网络中的应用进行辩护。其次，我不会声称目的语义学为人类或任何机器的语言输出提供了正确的解释，但我认为它可以阐明Word2Vec中的一些现象。我不会拘泥于目的语义学传统中的任何特定发展，而是尽量保持这些主张的普适性和广泛性。
我将提出一个主要基于消费者的目的语义学解释。但如果你喜欢尼克·希尔的非常目的语义学或卡伦·尼安德的信息目的语义学，那也很好。该领域的多样性正是将其作为理解这些系统表征框架的一个优点，因为目前尚不清楚一个框架能否捕捉我们拥有的每一个可能的语言模型。
为了本次演讲，我将把目的语义学简化为三个一般性主张（G1-G3），以及一个与Word2Vec特别相关的具体主张。
以下是三个一般性主张：
-
G1：系统包含产生和消费表征的机制。
-
G2：这些表征的内容至少部分地由这些机制的功能决定。
-
G3：此处的“功能”需要在某种广义的进化意义上理解，即存在一个随时间进行选择的过程。
我认为与Word2Vec特别相关且略有争议的具体主张是：一些简单系统拥有一种鲁斯·米利肯称之为“推拉式表征”的形式。对于这种表征，我们的描述性内容和指令性内容概念并非真正可分离。指令性内容指的是发送给消费者系统的指令或命令信号，如蓝图；描述性内容指的是该指令或命令成功的条件。文献中的经典例子是海鸥的叫声，既表示“过来”也表示“这里有食物”，它将指令和描述融入了同一内容。米利肯的一个有趣建议是，只有在更复杂的系统中，我们才能真正将这两者分开，拥有纯粹描述性的表征。我希望在演讲结束时，能指出当前深度学习研究如何阐明这一点。
现在转向Word2Vec。我需要首先明确我们试图回答的问题：什么是产生和消费这些表征的机制？我们希望目的语义学能阐明这一点。这些机制的功能是什么？我们能否诉诸这些功能来描述对系统所表征内容的约束？该框架能否解释关于系统的任何进一步语义主张？这最后一个问题更接近我的核心关切。所谓“进一步语义主张”，我指的是在马尔的框架中，计算层面解释的“为什么”部分。即，在我们确定了网络正在计算的数学函数之后，我们能否说明为什么计算的是那个函数？这就是我所说的进一步语义主张。
现在来看Word2Vec。最简单的Word2Vec设置是一个连续词袋模型，它接收一个单词输入，任务是在数据集中预测下一个单词。Word2Vec有三层：输入层接收来自词汇表的一个独热编码向量；然后通过第一个权重矩阵M处理，产生一个嵌入向量，投射到隐藏层；这个单词嵌入随后被馈送到我们的消费者系统M‘，M’在应用softmax函数后输出一个概率分布。
这里需要指出两点语义主张。首先，我们有两个机制：生产者M和消费者M‘。我们需要理解它们的演化。其次，将softmax的输出称为概率分布本身就是一个语义主张，是关于输出如何指涉世界的主张。许多东西加起来等于1，但这并不意味着我们应该将所有这些东西都解释为概率分布。Softmax如今在机器学习中无处不在，但我们通常不称其输出为概率分布。这个进一步的主张需要被证明，我认为表征理论应该在解释如何证明这一点上发挥作用。
其次，梯度下降实际上满足了目的语义学对复制过程的标准条件：在每一阶段，反向传播过程中改变的权重与之前相似，它们反事实地依赖于之前的状态，并且更新以目的论的方式根据自然法则（或本例中的更新函数）发生。
在反向传播过程中，这个输出（概率分布）与真实数据进行比较，计算两者之间的距离，反馈回来，系统中的权重被改变。结果，M和M‘改变了它们的内部结构，以便能够更有效地执行其工作。因此，我们有两个机制正在经历一个进化过程，以产生能让消费者机制更有效执行其任务的表征。
关于最终得到的嵌入空间，我们可以提出许多表征主张。以下是五种常见的类型，它们似乎对应于不同层次的数学复杂性或抽象性：
-
单词嵌入：最终得到一组向量，似乎对应于词汇表中的项目。可以计算这些向量之间的余弦相似度，这似乎类似于语义相似性。这也是该系统最初被开发的原因。
-
向量运算：Mikolov在最初的Word2Vec论文中发现，这些向量可以进行加减运算。经典例子是，取“国王”的向量，减去“男人”的向量，加上“女人”的向量，最终得到的位置类似于“女王”的向量。因此，可以说它在另一个层面上表征了它未被训练去发现的概念关系。
-
尺度表征：可以使用线性变换来捕捉尺度。例如，可以找到反义词在嵌入空间中的超平面，并找到一个线性变换将向量空间中的实体映射到该线上，从而似乎表明系统也在表征尺度。
-
PCA映射：可以将这些向量（例如300维）通过主成分分析降维到二维。例如，询问欧洲城市在这个二维向量空间中的位置，会得到类似欧洲地图的结果。我们是否想说词嵌入模型表征了这一点？表征理论应该给我们答案。
-
线性探测：可以在这些向量上运行线性探测器，看看它们是否跟踪诸如数字性之类的属性。
这些都是我们可能在Word2Vec中发现的不同类型的表征内容。接下来，我们需要问：根据目的语义学这样的系统，这些是意向性表征吗？什么是给出系统的目的语义学分析？我们将从进化角度考虑它，并问：什么被产生了？为什么被产生？谁产生的？
我们从输出层开始，像消费者目的语义学家那样。在输出层，机制M‘生成一个概率分布。这就是我们之前关于softmax问题的答案：凭什么我们可以说它是一个概率分布？我们可以说它是一个概率分布，因为机制M‘已经进化（或被改变）以产生概率分布，而这正是在反向传播过程中它所被评估的对象。知道了这一点，我们就达到了有趣的“推拉式”层面。单词嵌入本身似乎同时具有指令性和描述性内容。在指令性层面，单词嵌入似乎为我们的消费者机制M‘提供了生成概率分布的指令或蓝图。这就是指令性内容，它告诉后续系统要做什么。但它也具有描述性内容，因为最终在整个过程中，机制M已经进化，以产生能更好地与数据中实际分布相符的分布。因此，它具有跟踪数据中分布的描述性内容。至于独热编码层，我认为这是一个我们很少问的愚蠢问题：我们为什么不说词嵌入表征了它们的独热编码？深层原因在于，词嵌入像德里茨基多年前强调的许多表征一样，超越了这些最接近的刺激，以锁定它们在世界中所表征的东西。我认为这是一个经验性问题，但在某种意义上它们是否表征那个编码层，我们没有理由相信它们确实如此，这也给了我们更多理由相信它们表征了更远端的东西。
如果这是正确的，那么我给出了一个非常保守的结果。我列出了五种我们可能归因于像Word2Vec这样的系统的表征内容，然后我说，实际上所有被表征的只是数据中的分布，至少目的语义学框架似乎向我们暗示了这一点。在隐藏层，我们有我们的词嵌入，它们是指令，用于产生我们的那种表征。因此，它们也拥有某种描述性内容，即数据中的实际分布。
这个结果相当保守，但我认为它开启了一个过程。我们可以开始进一步追问：一个语言模型需要具备什么条件才能拥有纯粹描述性的表征？哲学家提出猜想时大家总是喜欢的，我想以一个猜想结束：系统在什么时候从仅仅表征数据中的分布，转变为表征我在前两种可能的表征类型（即余弦相似性和内部概念结构）中提到的关系？我认为，当系统拥有像注意力头这样的东西时，它就从拥有纯粹表征分布结构的推拉式表征，转变为表征更丰富的结构。是否正是因为有了注意力头，才使得表征中存在的进一步结构变得可利用？
2. 探测、使用与错误表征
上一节我们探讨了如何用目的语义学分析简单模型，本节中我们来看看如何通过探测和干预来更具体地验证和操作化神经网络中的表征主张。
我是斯坦福大学符号系统专业的二年级博士生。今天我将展示一个更大项目的一小部分，这无疑是对更大项目的有损压缩。该项目的目标基本上是提出一些（希望是）合理的标准，用于评估自然语言处理中的表征主张，然后朝着操作化这些标准迈出第一步。这是一种哲学家的操作化，因此仍然非常理想化。
首先需要澄清，这里存在一种在自然语言处理中无处不在的、更“薄”的表征意义，即模型的任何中间状态都算作表征。我使用的不是这个意义，而是哲学和认知科学中使用的意义，仍然相当“薄”，属于亚个人层面的表征。
假设我们正在一个语法可接受性任务上测试一个模型。模型接收句子作为输入，输出它是否合乎语法。假设模型正在处理以下输入：“John dances waltzes across the room.” 这是合乎语法的。我们可以想象两种情况：一种是模型判断正确，另一种是模型判断错误。当代模型可能会判断正确。如果它判断正确，我们可能想解释为什么它正确，我们会说类似“它表征了输入句子的依存结构”这样的话。如果它判断错误，我们可能会思考为什么人类会判断错误，我们会说：“它错误地表征了单词‘waltzes’的词性，它以为‘waltzes’是动词，但在这里实际上是名词。” 关键不在于这些解释是否真实甚至可能真实，而在于它们预设了一种表征概念。因此，我关注的问题是：模型的某个组件表征输入的一个属性，这意味着什么？
我考虑的一般设置如下：我们有一个系统S执行任务D。为简单起见，我将任务视为一组输入及其相关的输出优劣度量（例如损失函数）。抽象图景如下：输入被编码为中间激活（我称之为D维向量），然后由下游系统S_dec映射到输出。更具体地说，系统可以是Transformer，输入可以是令牌ID列表，中间激活可以是残差流在某一层和上下文窗口中某一位置的值，输出可以是令牌的概率分布。
关于术语的两个说明：当我们处理构成任务的输入时，我们会得到每个输入的中间激活，这将导致跨任务的一个激活模式，我记为H_D。我们对属性感兴趣，我将属性视为一个有限的标签集合。属性的例子可以是词性标签、依存头、句子级属性（如句子的主语是单数还是复数），甚至是更高级的语义属性（如句子主语的性别）。我假设每个输入都与一个关于属性标签的黄金标签分布相关联。
我将假设，在这种设置下，表征主张的自然载体是激活模式H_D。我将简要给出三个标准，这些标准似乎与评估该领域的表征主张相关。我打算让这些标准能够以多种不同的方式充实表征，但它们确实具有一种广义的目的语义学色彩。
以下是三个标准：
-
信息标准：激活模式应承载关于该属性的信息。
-
使用标准：它所承载的关于该属性的信息应被下游系统用来执行任务。
-
错误表征标准：这种解释应允许激活相对于某个输入错误地表征该属性。正如我们想用表征来解释成功，我们也想用错误表征来解释失败。
现在简要介绍探测范式。设置如下：输入映射到激活，再映射到输出，输入还与属性标签的黄金标签分布相关联。探测时，我们尝试训练一个有监督的分类器，直接从中间激活预测黄金标签分布。我们使用标记对来完成此操作。分类器接收一个激活并预测标签上的分布。如果分类器在某个测试集上实现了较低的交叉熵损失，我们就说它是成功的。这自然提出了一种操作化信息标准的方法：我们可以训练一个针对该属性的成功探测器。这是一种相当廉价的成功标准。我们可以用互信息之类的东西使其更正式。
接下来，思考如何理解“使用”和“错误表征”要困难得多。我想说的是，理解它们的正确方式是从因果角度思考。我们想思考，如果我们能对激活进行正确类型的干预，并测量其对下游系统的影响，这将是一种测试使用主张的方法。那么，正确类型的干预是什么？直觉是：我们想对具有某个输入的激活进行干预，以剥离它所承载的关于该属性的信息，同时固定下游系统使用该信息的方式，但希望在其他方面保持不变，相对于下游系统如何整体解码激活模式。如果我们进行了这种干预，并且系统确实在使用该信息，我们预计它在任务上的性能会下降。当然，这个图景的问题在于，下游系统根本没有明确解码激活模式中的信息。它是在隐式地与信息交互。我们很希望能将下游系统写成类似探测器和其他模型的组合，但事实并非如此。在某种意义上，这正是整个探测范式的动机：我们使用探测器作为下游系统可能对信息所做事情的代理。
我们可以利用这一见解来操作化手头的干预。使用探测。一些术语：集合G_Z,S将是与下游系统兼容的、针对某个属性的探测器集合。这有点模糊，我设想的是类似下游系统可以实现这些探测器的东西。为了更具体，如果下游系统是线性的，我们希望这个集合只包含线性探测器，我们不希望它们有非线性，因为那样下游系统就无法做它们所做的事情。
干预只是一个在R^D上的函数。我说它必须满足两个条件：第一，相对于任何与下游系统兼容的解码信息的成功方式，这个干预应该将这些解码器（探测器）的预测推向属性上的均匀分布。第二，它应该保留其他属性其他解码器的预测。这个“保留”我们可以用KL散度来操作化。
定义了这种干预后，我们可以给出使用标准的一个自然操作化：我们有一个这种类型的干预，将其应用于激活，如果下游系统确实在使用关于该属性的信息，那么它的输出相对于任务应该会下降。
如何理解错误表征？我想以与“使用”非常相似的方式来理解这一点。我们通过对激活应用正确类型的干预，然后检查它们对整个系统行为的影响，来测试关于错误表征的主张。直觉上，在错误表征的情况下，下游系统看到激活并将其解释为关于属性标签分布的错误信息。因此，理论上，如果我们能进行干预，使下游系统相信关于属性标签分布的真实情况，那么这将提高它在任务上的性能。当然，这只是一个直觉，因为下游系统根本不做类似这样的事情。但也许我们可以使用探测器作为下游系统可能与信息交互方式的代理。
我们再次有这个真实标签分布，然后可以定义我称之为“纠正干预”的东西。纠正干预基本上与“混淆干预”相同，只是我们不满足将成功探测器的预测推向均匀分布的混淆条件，而是希望将预测推向真实标签分布。同样，我们希望控制其他属性和其他探测器。显然，以这种方式控制是极其困难的。
这样，就提出了错误表征标准的一个实际操作化：我们进行这种纠正干预，将其应用于激活，然后观察系统性能是否相对于任务有所改善。想法是，如果确实改善了，这就提供了证据，表明系统（具体来说是组件H_S）错误地表征了该属性。
总结一下：我们可以通过能否训练一个成功的探测器来思考表征；我们可以应用正确类型的干预来测试使用；我们可以应用正确类型的干预来测试错误表征。我提出的这个解释存在一些明显问题：首先，我们应如何理解与下游系统兼容的探测器集合？这里有一篇关于探测器选择的大量文献。其次，主要问题与控制各种属性有关。我们可以讨论如何开始思考这个问题。我认为文献中有一些例子近似于我建议的解释。
3. 语言模型与视觉模型的表征对齐
上一节我们讨论了如何验证神经网络内部的表征，本节中我们来看看不同模态的模型（如语言和视觉）是否学习了关于世界的相同结构，以及我们如何通过对齐它们的表征空间来探索这一点。
本次演讲是对Bender和Koller一篇论文中思想实验的直接回应。在他们的思想实验中，主人公是一只章鱼，它通过水下电缆监听两个荒岛上两个人的对话。这只章鱼拥有一个完美的语言模型，正在监听并训练以模拟其中一人。在某个时刻，电缆被切断，章鱼开始扮演其中一个人。Bender和Koller感兴趣的是，这在极限情况下是否可能，以及如果可能，是否构成理解。
我不打算讨论论文的那部分，因为那个思想实验存在很多问题。我将讨论该论文中第二个更具体的思想实验。Bender和Koller写道：想象训练一个语言模型只使用文本（没有相关的说话者意图指示），并想象该系统还提供了大量未标记数据，你可以单独训练这些数据，但文本和图像之间没有联系。对于图像数据，训练任务可以是任何只涉及图像的任务。然后他们想象在测试时，我们向系统呈现带有照片的文本，问题是关于图像的，例如“图片中有多少只狗在跳？”或“图片中有多少只狗？”。他们说这显然不可能，因为模型从未见过文本和图像之间的联系。我想说，这是一个经验性问题。从这两者被单独训练的事实，并不必然得出能够回答这类问题的结论。我想提出一个实验，有充分理由相信在不久的将来我们就能做到这一点。目前还不能完全无监督地做到，但只需极少的监督就可以，而且应该很快就能实现。
我的灵感来自无监督机器翻译领域的工作。通常，当你进行机器翻译时，你尝试学习从一种语言到另一种语言的函数，并使用人类翻译的监督。但在无监督机器翻译中，你尝试在没有人类翻译参与的情况下做到这一点，即在德语和英语之间没有链接的情况下。那么，这怎么可能呢？人们做的是查看语言模型的词嵌入。你训练一个德语语言模型和一个英语语言模型，然后查看词嵌入空间的几何形状。基本上，你将词汇表绘制为点集或点云，并观察它们的形状。因为事实证明，至少对于最近相关的语言，词汇表具有相似的形状。你可以将这些视为漂浮在空间中的云，它们具有几何形状。现在你可以缩放、旋转和平移这些云，使它们以最佳方式对齐，就像在计算机视觉中进行点集配准一样。事实证明，如果你这样做，那么至少对于相关语言，对齐非常精确，你可以从这些对齐中提取双语词典。因此，在经验上，大约四分之三的单词会紧挨着它的翻译等价词。
我想将这一想法转移到Bender和Koller的例子中：在栅栏的一边有一个语言模型，另一边有一个计算机视觉模型，并询问是否可以对语言模型和计算机视觉模型做同样的事情。为了启动翻译，你需要更多一点，因为此时你只有逐词翻译。你需要让语言模型重新参与进来，在两个方向上进行共同训练以使事情启动，但我们可以忽略这一点，因为我们目前只需要建立链接。
无监督机器翻译文献中有一个重要的教训：使用生成对抗网络等算法以无监督方式进行对齐是可能的，前提是空间或几何形状非常相似。这意味着，如果我们能做到让超过一半的单词最终紧挨着它们的翻译等价词，无监督算法往往能成功；否则，它们往往会失败。这是因为如果对齐问题没有明显的解决方案，你只会陷入许多局部最优解。但似乎存在一个阈值，大约一半的单词与它们的翻译等价词对齐，然后无监督算法就能达到与有监督或最小监督解决方案一样好的效果。
基本上，我们按照Bender和Koller的指示去做：我们有一堆图像和一堆文本，假设我们有一个视觉编码器和一个文本编码器，两者之间没有交互。我们得到图像嵌入和词嵌入，查看空间，然后基于最小监督进行对齐（例如，可能100个单词）。然后我们在保留数据上评估我们是否从这种对齐中挑选出了正确的东西。这是一种用于双语词典归纳的最小监督设置，只不过我们谈论的是图像和单词。
我们对许多不同的模型进行了这些实验。对于最好的模型（如GPT-2 Large尺寸的模型），大约10%的单词（或图像）最终紧挨着恰好是图像网络数据中标签的单词。如果我们评估更宽松一些，只问单词是否在10个邻居内（这大致对应于一个同义词类，例如对于“car”，可能是“car”、“automobile”、“vehicle”等），大约30%的单词能做到。如果我们更宽松，只问正确的单词是否在100个邻居内（这大致对应于细粒度语义类别），我们看到大约60%的单词能做到。因此，对于60%的单词，我们可以用极少的监督判断图像的语义类别。
这些图表中最重要的现象是我们看到了收敛：模型越大，结果越好；视觉编码器越大，结果越好；语言模型越好，结果越好。与无监督机器翻译中的断点（精确度@1得分约为0.5）相比，目前仍有差距（0.1），但肯定在向那个方向收敛。即使我们不能以无监督方式做到这一点，这仍然表明这些模型正在学习相同的结构。只是目前我们还不能进行映射。
当然，你可以对这样的实验进行大量错误分析。显然，一些单词是多义的，这会影响性能。单义词（只有一个意义）更容易进行这种映射。此外，图像中的离散度也是一个因素。如果离散度低，我们做得更好。这很自然，因为我们基本上是从语言模型中提取静态嵌入，没有捕捉任何上下文。
所有这些都使得结果更加有趣，因为刚才的结果是全面的。现在，你可能会问是否有偏见渗入，或者算法归纳偏置的形式，或者我们是在ImageNet上评估的这一事实。我们可以用其他目标库或源库做同样的实验。例如，用BERT系列模型做同样的实验，然后映射到BigGraph空间（BigGraph是Wikidata的图嵌入）。我们看到了完全相同的收敛现象。我认为所有这些都在说明：我们能够对齐语言模型和视觉模型的概念层面表征，是因为它们关于同一事物，即我们也放入Wikidata中的知识。在某种意义上，这个结果已经包含在我首先谈到的无监督机器翻译中：为什么英语语言模型和德语语言模型会以完全相同的方式表征概念？如果不是因为英语和德语的使用者谈论的是同一事物（即世界），那又会是什么？在某种意义上，这至少暗示了这些语言模型已经捕捉到了世界的结构或我们所认为的世界。
4. 深度神经网络是否拥有概念？
上一节我们探讨了跨模态的表征对齐，本节中我们回到一个更根本的问题：深度神经网络是否拥有概念？我们将尝试提出一个概念系统应满足的属性列表，并探讨如何在神经网络中形式化这些属性。
我们是MIT EECS的一年级研究生小组。今天我们将讨论深度神经网络是否有概念。作为一年级研究生，我们显然对领域全景有不完整的看法，或者也许应该说，作为一年级学生，我们显然知道关于概念的一切，实际上也许你们应该坐下来让我们告诉你们所有答案。
在许多方面，本次演讲的结构和目标与我们处理这些问题的方式相似。我们四人都对概念之类的东西感兴趣，但我们来自相当不同的背景，如计算神经科学、计算认知科学和哲学。因此，当我们开始讨论这些话题时，我们经常发现需要一个共享的语言或共同点作为起点。
鉴于围绕ChatGPT和其他通过人类反馈训练的大语言模型的迅速成功和兴奋，许多人开始问GPT是否像智能体，是否在思考。很自然地，首先会问这些系统是否有概念，特别是考虑到概念在认知科学和哲学中长期被视为思维的基本构建块。
也许当我们问这个问题时，最好从一个更简单、可能更容易理解的系统开始：一个像AlexNet这样的视觉分类器和模式识别系统。我们可以问：AlexNet有概念吗？要知道这一点，我们需要一个能够形式化神经网络中概念是什么的工作框架，并且我们可以通过经验验证。
这激发了我们的起点：我们将概念视为神经潜在空间中的流形。为了阐述的目的，我将使用视觉，但这种方法可以扩展到其他模态，如语言和文本。形式上，流形被定义为这些局部同胚于欧几里得空间的对象，但为了我们的目的，我们基本上将它们视为具有某种粗略拓扑结构的点云。例如，你可以拍一张狗的照片，它会映射到神经网络中间或隐藏空间中的一个特定点。一张不同品种狗的不同图像可能映射到不同的点，但它仍然是一张狗的图像。因此，所有对应狗图像的点集形成了这个“狗流形”，你可以将其视为“狗”这个概念的一个非常外延的表征。
我们将要求这些流形彼此可分离，即狗的流形与猫的流形是可分离的。这是一个允许成功分类的关键属性。这是一个非常常见的观点，在神经科学和深度学习中有时被持有。这部分是因为这个框架在神经网络中非常直接适用且易于形式化，而且神经科学和深度学习某些部分关于概念学习或概念的工作通常主要关注更容易在这种范式中形式化的非常具体和感知的概念。
在这个框架下，我们可能会说AlexNet可能有概念，但这主要是因为这种“概念即流形”的框架主要关注区分作为其相关的行为属性。众所周知，神经网络非常擅长这一点。
但人类的观念系统远比AlexNet这样的CNN丰富得多。它们可以表现出更广泛的行为，如类比推理、想象和规划。更重要的是，我们的概念系统通常包含更抽象的概念，如“有趣”、“好”、“信念”和“九”（借用昨晚辩论中的几个例子）。我们如何将这些更抽象的概念形式化为流形，或者它们是否具有流形结构，这并非先验明显的。因此，对于那些概念，我们在这里没有太多要说的。最后，可能我要指出的另一点是，直觉上这显然不够。GPT-3优于GPT-2或GPT-4优于GPT-3的原因，可能主要不是因为它的概念流形在高维中更线性可分，这似乎不太对。
因此，在演讲的剩余部分，我们将利用这个动机，朝着两个目标迈出第一步：首先，我们将借鉴心理学和哲学中一些来之不易的见解，列举几个我们当前框架缺失但应该捕捉的属性。其中一些属性将是概念系统整体的全局属性，另一些将是该系统内大多数或所有概念的属性。重要的是，我们要强调，我们并非在此提出一个新的概念理论，我们也承认这个列表在许多方面未能体现人类概念系统的全部丰富性。对我们来说，这只是制定一个共同基础的一种方式，任何对神经网络中概念系统的表征都应旨在捕捉这个基础。
本着这种精神，我们的第二个初步步骤将是提出几种基本方式，使这种“概念即流形”的观点能够开始解释其中一些属性。显然需要提醒的是，这是非常初步的工作，许多（也许所有）这些形式化在许多方面可能都不充分。
首先，一个概念系统应该是生成性的，它应该允许对概念实例进行采样。以“狗”为例，我可以想象一只狗的心理图像，想象它的吠叫声，或者想象它的皮毛在我皮肤下的感觉。虽然“概念即流形”主要关注可分离性和区分性，但我们可以通过指定一种从概念流形中采样的方式来轻松扩展它以包含生成性。这可能涉及在该流形上放置概率分布，或者只是某种在流形上平滑遍历并停留在其上的方式。变分自编码器在MNIST数字上的训练就是一个清晰的例证：数字通常在潜在空间中形成可分离的流形，你可以遍历这些流形来采样数字实例。
下一个属性是上下文敏感性。我们希望概念是灵活的而非僵化的。例如，如果我赢了1000美元或100万美元，我可能会说“我很有钱”，这取决于我想要这笔钱的上下文。再举一个辩论中的例子，大多数时候我可能认为那片叶子是一片叶子，但在某些上下文中，我可能把它看作一把伞，比如下雨的时候。我们开始时将流形呈现为静态的东西，但这不允许上下文敏感性。因此，我们真正想要的是，当我们将输入投射到潜在空间（流形空间）时，我们应该允许投射是输入本身及其周围上下文的函数。这可以是周围的单词，或者以某个目标为条件，等等。在现代大语言模型中，这通常是架构的固有结果。
现在我将转向一些更难定义的概念属性。第一个是抽象性。一个概念应该是抽象的、鲁棒的和通用的。直觉上，这意味着概念表征应从外观中提取某种本质。例如，我们都能认出左边的所有图像都是狗。我们也知道右边的关系应该成立，无论它接受什么类型的参数。这种不变性对于抽象非常重要。我们如何在“概念即流形”的观点中形式化这一点？我们建议，流形应该在某种不相关的变换下是封闭的，例如旋转、视角变化、噪声和不相关的上下文。也就是说，如果我们拍一张狗的照片然后旋转它，它应该停留在流形上而不是离开它。如图所示，反复旋转图像可能会改变表征（输入），但绝不会以不再是流形中的方式改变。
接下来，我们考虑概念应该是关系性的这一属性。一个概念系统应该捕捉概念之间的关系。这里有两个这种关系的例子：左边，正如内特在他关于概念角色语义学的著名工作中讨论的，“力”现在是根据质量和加速度来定义的，方程F=ma是一个指定力、质量和加速度之间关系的方程。右边，某些概念自然形成层次结构，例如猫是一种动物。在层次结构中，我们也可以谈论相似性，例如猫通常被认为比鸟更类似于狗。为了将关系性引入“概念即流形”，我们需要施加一些流形间的结构，以指定不同概念如何相互关联。这可以通过在整个空间上施加相似性函数或距离度量来完成，这在某种意义上指定了两个概念之间的语义相似性。
此外，概念系统中应该具有组合性。概念应该能够与其他概念组合。此外，组合概念的意义应由其组成部分的意义决定。例如，概念“红”和“狗”可以组合形成“红狗”，我们可以对命题应用否定运算符以形成新命题。在流形观点的背景下考虑组合性，我们特别考虑布尔运算符的组合性。在这种观点下，布尔运算对应于流形的集合运算。也就是说，“红狗”的流形就是“红”和“狗”的流形的交集。虽然最初“概念即流形”观点认为流形是可分离的，但我们在此明确撤销这一假设以允许组合。但同样，这是一种初步的组合性概念，并未捕捉其丰富性。
最后，这里还有一些哲学家和认知科学家长期讨论的、对概念系统重要的其他特征，但目前我们也不确定“概念即流形”究竟如何或是否应该解释这些特征。意向性是指概念系统应该关于世界中的事物，有时也称为“关于性”。它还应具有内部一致性，这可以说是当今GPT类系统真正需要改进的地方。一个概念系统应具有丰富的因果结构，可以支持鲁棒的假设和反事实推理。一个重要的问题是我们如何在神经系统中形式化这些属性。
总结一下，如果我们对神经网络是否有概念感兴趣，仅仅能够区分或解码信息是不够的。我们需要一个可以经验验证的形式化表征。我们提出了一个非穷尽的属性列表，任何概念系统都应满足，并初步尝试了如何部分地操作化其中一些属性。其中一些属性极其重要，具有哲学和心理学意义，但目前尚不清楚如何形式化它们。
鉴于我们还没有一个完整的理论，我们也询问了GPT-4对这些问题的看法。具体来说，我们问GPT-4，它认为像AlexNet、GPT-3和DALL-E 2这样的深度学习模型在多大程度上满足我们这里讨论的属性列表，并要求它为每个模型给出类似A/B/C/D的字母等级。这是它给出的答案。我们认为这相当令人印象深刻，并想邀请大家思考：你会如何判断这些系统？你认为人们在哪些方面分歧最大？这些属性中是否有些可以用其他属性来定义？还有哪些属性缺失？或者，这甚至是思考神经网络中概念的正确框架吗？归根结底，我们希望有一个令人满意的理论，来解释这些系统在多大程度上拥有概念，以及它们的概念系统是什么样的。
总结
在本节课中，我们一起学习了深度学习系统中的表征问题。我们从目的语义学角度分析了简单词嵌入模型Word2Vec，探讨了其表征的“推拉式”特性。接着，我们讨论了如何通过探测和因果干预来操作化地表征的“信息”、“使用”和“错误表征”标准，为验证神经网络内部表征提供了方法论思路。然后，我们通过跨模态对齐实验，展示了语言模型和视觉模型可能学习了关于世界的相同结构，暗示了其表征的“关于性”。最后，我们尝试构建一个评估神经网络是否拥有概念的理论框架，提出了概念系统应具备的生成性、上下文敏感性、抽象性、关系性、组合性等属性，并初步探讨了如何在“概念即流形”的视角下形式化部分属性。尽管这些探索是初步的，但它们为理解深度学习系统复杂而丰富的内部世界迈出了重要的第一步。
005：小组讨论 - 深度学习与认知科学的相互启示 🧠🤖
在本节课中，我们将探讨一个核心议题：深度学习与认知科学能相互学习什么？我们将通过一场小组讨论，深入分析如何比较人类与机器的行为、神经网络作为大脑信息处理的机制解释、大语言模型对人类语言习得的启示、认知科学对AI发展的实际贡献，以及构建类人智能体的评估框架。我们将看到，这两个领域之间的对话既充满挑战，也蕴含着巨大的机遇。
深度学习哲学：P05.1：如何比较人类与机器的行为？ 🔍
上一节我们概述了本次讨论的主题。本节中，我们来看看如何具体地比较人类与机器的行为。Ishita Dasgupta的演讲聚焦于评估语言模型的“推理”能力，并将其与人类推理进行对比。
“推理”一词在认知科学和机器学习文献中被广泛使用，但其定义往往模糊。一个常见的初步定义涉及逻辑和人类独有的能力。在语言模型领域，关于它们是否能进行所谓“推理”的观点存在一个光谱：一端认为模型具备推理能力，特定干预措施能帮助它们做得更好；另一端则认为模型主要使用简单的启发式方法，无法真正推理。
有趣的是，关于人类推理能力的争论同样存在一个类似的光谱。一些学者认为人类是完美的理性推理者，而另一些（如行为经济学家）则认为人类主要依赖可能无法泛化的简单启发式方法。这场辩论已持续了50多年。
那么，我们能否从这场关于人类的长期辩论中汲取思想，来理解语言模型的推理呢？
以下是我们可以借鉴的一些关键思路：
-
内容效应：人类的逻辑推理能力强烈依赖于推理内容的具体性。经典的“沃森选择任务”表明，当逻辑规则置于熟悉的社会情境中时，人们的推理表现会大幅提升。语言模型同样拥有关于现实世界的“信念”（即对语言的预期），这些预期反映了人类的知识。研究表明，语言模型在推理时也表现出类似的“内容效应”：它们在处理符合现实世界信念的逻辑规则时，表现远好于处理抽象或违背常识的规则。
-
分析层次：在比较人类和机器行为时，我们需要明确是在哪个层次上进行类比。这至少包括三个层次：
-
行为相似性：外在表现是否相同。
-
表征相似性：支持行为的内在表征或算法是否相同。
-
学习过程相似性：获得这些表征的学习信号、数据量和优化目标是否相同。
-
-
比较心理学的方法：该领域已经发展出许多方法来公平地比较不同生物的能力（如区分能力的存在与熟练程度）。在比较机器时，我们需要思考一套新的考量因素，以确保比较的公平性。
总之，认知科学拥有成熟的词汇、历史和经验方法论，可以用来深入洞察当前的人工智能，特别是那些展现出类似认知能力的语言模型。理解它们对于其未来与人类的互动至关重要。
深度学习哲学：P05.2：神经网络作为大脑信息处理的机制解释 🧬
上一节我们探讨了行为层面的比较。本节中，我们深入一步，看看神经网络模型能否作为解释大脑信息处理机制的模型。Niko Kriegeskorte指出，认知科学正经历两场革命：神经活动与行为测量技术的革命，以及利用深度神经网络建模大脑信息处理的革命。
这带来了希望：神经网络模型最终可能作为大脑信息处理的机制性解释。然而，这一观点存在争议，主要有三种批评：
-
模型过于简单（生物学保真度低）。
-
模型过于复杂（难以直观解释）。
-
模型仅仅是数据拟合。
为了应对这些挑战，特别是在大数据、大模型时代，我们需要新的方法论来检验和比较模型。
以下是两种关键的解决方案思路：
-
基于推理的模型比较：传统的做法是用世界数据（如图像）和行为数据（如人类标注）训练模型，然后用大脑数据（如神经活动）来裁决不同模型。这构成了一个分布外泛化挑战，使得结论更具推断性。模型比较推断必须避免对受试者或刺激的过拟合，并将两者都视为随机效应。
-
优化实验设计：我们可以设计能够对模型进行“严格检验”的实验。例如，“争议性刺激”方法：创建能引发不同模型做出截然不同预测的合成刺激。将这些刺激用于人类实验，可以有力地拒绝某些模型。这种方法在语言领域也被用于测试语言模型预测人类语言判断的极限。
因此，神经网络模型有潜力为大脑信息处理提供机制性解释，但理论进展需要新的方法论来比较高参数量的神经网络模型。基于推理的模型比较和利用争议性刺激的优化实验，是推动我们迈向更好模型和理论的重要途径。
深度学习哲学：P05.3：大语言模型能教会我们人类语言习得吗？ 📚
上一节我们讨论了用神经网络解释大脑机制。本节我们转向一个更具体的问题：大语言模型（LLMs）能否揭示人类如何习得语言？Tal Linzen的演讲探讨了深度学习作为研究语言习得理论假设的计算框架的潜力。
生成语言学的核心关注点是从有限数据到新结构的泛化能力。例如，英语疑问句构成规则可能基于句法结构（移动主要动词），也可能基于线性顺序（移动第一个动词）。儿童接触到的数据中，能区分这两种规则的例子极少，但他们总能学会正确的规则。这被用来论证儿童天生具有一种句法结构偏向。
神经网络可以作为计算框架来检验这类假设。基本逻辑是：构建一个计算学习者，给予它儿童可能接触到的数据，然后检查其泛化行为，并与人类的泛化行为进行比较。如果相似，则表明该计算学习者与儿童学到了相同的东西。
利用神经网络，我们可以：
-
测试必要性：如果一个没有内置特定语言偏向的网络，仅凭数据就能学会正确的规则，那么该偏向可能不是必要的。
-
实施偏向：我们可以给网络注入理论认为应有的归纳偏向（例如，构建类似树状的结构），观察这是否能产生更类人的泛化模式。
然而，Tal Linzen对当前流行的超大语言模型（如GPT系列）在语言习得研究中的直接相关性提出了强烈质疑。原因如下：
-
数据量巨大：它们通常在万亿级词符上训练，远超儿童接触的数据量。
-
数据类型复杂：训练数据包括数十种语言、数十亿行源代码、整个互联网（含语言教材、词典、语言学文章），这与婴儿的学习环境截然不同。
-
资源不受限：拥有数千词符的上下文窗口，远超人类工作记忆。
-
预测背离人类：最新LLMs在预测下一个词的能力上已远超人类，但其预测模式与人类阅读时的模式越来越不同。
-
训练数据不透明：最新的模型训练数据已成为商业机密。
因此，深度学习可以作为研究不同理论假设如何影响学习结果的有用基础设施。但要研究这些假设，我们需要在与人类接触的数据相似、资源受人类类似限制的模型上进行。目前商业公司开发的大模型正变得越来越不符合认知科学的研究需求。
深度学习哲学：P05.4：认知科学为何无助于AI进展？ ⚠️
上一节我们探讨了AI对认知科学的潜在启示。本节我们反转视角，审视一个更具挑战性的论点：认知科学是否真的推动了AI的进步？Rob Long提出，尽管“认知科学启发AI”的观点听起来合理，但在实践中，尤其是在过去十年，它可能是错误的。
这个观点曾很吸引人：既然认知科学研究我们已知的唯一智能系统（人类），那么其发现应该能转化到AI中。然而，通过审视自然语言处理（NLP）近年来的关键进展，Rob Long认为驱动进步的核心见解并非来自对人类智能的研究。
例如，大语言模型的核心方法——仅使用纯文本语料库和下一个词预测目标进行训练——与人类语言习得方式（多模态、互动、数据量少）截然不同。许多语言学家曾认为这种方法注定失败，但它却取得了巨大成功。
他认为有两个根本原因：
-
认知科学不够成熟：我们尚未能真正揭示人类行为背后复杂的计算基础，现有的认知模型过于脆弱，无法在AI中规模化应用。
-
AI系统不需要人类解决方案：人类智能的解决方案是针对特定计算能力、数据量和学习速度优化的。AI系统在完全不同的资源和目标下学习，因此对人类解决方案的硬性约束可能反而有害，尤其是在规模扩大时。
Rob Long也回顾了一些看似来自认知科学的AI进展案例（如dropout、注意力机制、卷积网络），指出其中一些关联是事后建立的，且这种启发性影响随着时间推移正在减弱。他澄清，他的论点主要针对将认知科学中具体、详细的计算机理直接迁移到AI以提升能力的做法。他承认认知科学在理解、评估AI系统方面具有重要价值，但对其在驱动AI核心能力进步方面的作用持悲观态度。
深度学习哲学：P05.5：构建类人智能体的评估框架与LLMs的前额叶皮层 🎼
上一节我们听到了一个关于认知科学对AI贡献的批判性观点。本节中，Ida Momennejad提出了一个框架来厘清相关概念，并探讨了AI，特别是大语言模型，如何从神经科学中汲取灵感。
她指出，“类人智能”、“神经AI”、“脑启发AI”等术语常被混用，但它们的侧重点不同。为此，她提出了一个评估框架，包含三个主要维度：
-
表现出类人行为
-
神经合理性
-
解决工程/计算机科学问题
成功实现其中一个或两个维度的目标，并不自动意味着在其他维度上也能成功。例如：
-
卷积神经网络（CNNs）：在神经表征相似性上得分高，但在对抗样本面前行为不像人类。
-
超级国际象棋AI：能力超群，但下棋序列不被人类认为是人类生成的。
-
大语言模型：在许多语言任务上表现惊人，但可能无法进行合法的象棋走子。
这个框架允许进行非二元评估，并有助于理解不同项目目标之间的生成性、相关性或修正性互动。
Ida Momennejad随后提出，大语言模型需要一个“前额叶皮层（PFC）”。人脑的前额叶皮层负责执行功能，如计划、抽象推理、规则学习和受控处理。它像一个指挥家，协调大脑不同区域，根据情境或目标放慢系统速度，进行自上而下的监控和控制。
当前的大语言模型就像一个拥有多种技能但缺乏协调的“嘈杂乐团”。它们可能知道某个回答有毒，但不会主动阻止自己生成它；它们可以在被提示后改进回答，但不会自我提示。因此，她建议为LLMs添加一个**“笨”PFC模块**。这个模块可以：
-
根据过去交互的历史数据，判断何时需要从快速生成模式切换到缓慢的、自我监控的控制模式。
-
决定何时需要查询互联网、获取真实信息或调用不同的内部技能。
-
针对不同应用（如游戏、办公软件）可以有不同的“物种”。
她认为，认知科学与深度学习之间可以存在生成性、相关性或修正性的互动。利用认知科学的方法（如分析错误和反应时间）可以洞察LLMs的内部运作，而LLMs的失败也可能折射出人类自身的认知挑战。为LLMs开发即使是很“笨”的PFC，也可能极大地改善其表现。
总结与展望 🌉
本节课中，我们一起深入探讨了深度学习与认知科学交叉领域的多个核心议题。我们了解到：
-
比较人类与机器需要明确分析层次，并借鉴认知科学中关于内容效应和比较方法论的研究。
-
神经网络有潜力解释大脑机制，但需要发展新的方法论（如基于推理的模型比较和争议性刺激实验）来验证高参数模型。
-
大语言模型作为研究语言习得的工具具有潜力，但当前主流的超大商业模型因其训练数据和资源的“非人类”特性，直接相关性有限；更受控的、资源受限的模型更适合认知科学研究。
-
认知科学对AI能力进步的直接影响可能被高估，过去十年的AI突破更多来自规模化和与人类学习方式迥异的方法；然而，认知科学在理解、评估和确保AI安全方面不可或缺。
-
需要一个清晰的评估框架来区分类人行为、神经合理性和工程目标；同时，从神经科学中借鉴前额叶皮层的“指挥家”功能，可能为解决当前大语言模型在协调、自我监控和控制方面的不足提供灵感。
这场讨论揭示，两个领域的关系是复杂且动态的。认知科学为理解智能提供了丰富的视角和严谨的方法，而深度学习则开辟了实现智能的新路径。二者的对话未必是直接的“技术转移”，而更多是相互启发、相互检验和共同演进。未来，在追求更强大、更高效、更安全、也更可理解的智能系统的道路上，这种跨学科的对话必将持续深化，并可能催生出意想不到的突破。
006：逻辑推理的重要性及其在深度神经网络中的涌现
在本节课中，我们将探讨逻辑推理在认知科学和人工智能中的核心地位，并分析其在深度神经网络中如何涌现。我们将对比两种不同的信息处理方式，理解它们各自的优势与局限，并探讨为何一个完整的认知模型需要整合这两种方式。
引言：从机械哲学到人工智能
首先，感谢Ned、Dave Chalmers和Raphael Millière的组织与邀请。作为一个跨学科哲学家，能与来自计算机科学和认知科学不同领域的学者交流，特别是与哲学家们对话，是一次非常宝贵的经历。特别感谢Raphael在过去两年里每周组织深度学习阅读小组，尤其是在新冠疫情初期无法旅行时，能与美国和欧洲的同行们每周讨论深度学习的最新进展，是我学习新知的重要途径。
本周末的讨论已经揭示，深度学习的一个哲学兴趣点在于它如何帮助我们建模人类心智。这正是我今天要聚焦的主题。
长期以来，我一直主张人工神经网络是建模某些认知方面的一种有趣且与众不同的方式。事实上，我在博士期间就开始研究它。因此，当深度学习在多年里没有实际应用时，不免有些失望。直到2012年，它们才开始真正发挥作用，这不仅是一个“我早就说过”的时刻，我认为我们正在经历某种范式转变，对于这些机器能做什么以及我们如何建模认知的可能性范围，正在发生重大转变。
历史的启示：笛卡尔的挑战与逻辑推理的诞生
这种转变有点像近500年前勒内·笛卡尔所面临的范式转变。上图展示了一个16世纪60年代制造的自动机，它能进行类似生物的运动。对于笛卡尔来说，这是一个启示：像这样能产生看似有目的运动的机器，挑战了当时认为只有动物才具备特殊生命力的观念，这启发了他提出整个机械哲学。
然而，笛卡尔 famously 认为，心灵是一个例外。最著名的是意识问题，他难以设想物理或机械过程如何产生意识，这留下了我们至今仍在努力解决的“难题”。但更相关的是，他认为语言也是如此。他写道，我们可以设想一台机器说出词语，但要产生有意义的句子，不仅不可能，甚至是不可想象的。
当然，现在我们看到这是可能的。在20世纪，我们通过经典计算机，利用实现广义逻辑转换的原则，已经在实现有意义的、智能的表征间转换方面取得了进展。
例如，关于“苏格拉底会死”的推理，在20世纪之前，只有人类（而且是聪明人）才能进行这种表征间的转换。20世纪的一个重大发现是，我们可以设置机器来做到这一点，以及许多其他类型的逻辑推理。方法是让机器根据表征的形式或模式，具有在不同表征间转换的倾向性。如果你设置一台机器，使其倾向于在符合以下形式的表征间转换：
如果 所有 A 是 B
并且 x 是 A
那么 x 是 B
那么最终你会得到一种能在表征间进行转换的东西。如果你输入真实的表征，它必然会输出真实的表征。这个原则后来成为我们仍在使用的几乎所有计算机的核心，被证明极其有用，不仅实用，也有助于理解心智的许多方面。
然而，这并没有完全达到笛卡尔认为不可想象的地步，即“对任何所说的话给出恰当而有意义的回答”。直到最近三年，我们才真正获得了能够做到这一点的机器，正如本周末我们已经看到的许多例子。
我认为，适应这一点是一种范式转变。它扩展了建模心智方面的现实可能性空间。它向我们表明，端到端地训练特定的倾向性，以特定类型的输出响应输入，其威力远超我们以往的想象。
核心对比：内容特定与非内容特定的计算
我今天的论点并非要在经典架构和联结主义架构之间做选择。实际上，两种方法具有互补的成本和收益。我们不应忽视广义逻辑推理的重要性，如果我们想要完整地描述人类认知，并超越“最迟钝的人”所能做的事。
今天，我想以一种特定的方式来描述这种差异，以展示所谓的广义逻辑推理所具有的特征性优势，如何与深度神经网络处理表征的特征性方式的成本与收益形成互补。
经典计算“包”是熟悉的，我将更具体地描述它，但你们已经看到了一个广义逻辑推理的例子。实现它的一种方式是通过变量绑定，对以显式记忆或存储知识形式存在的表征进行操作，并且这些表征表现出一种通用形式的组合性。
这与深度神经网络“包”形成对比。我想深入探讨一种特定的对比方式，以帮助我们理解为何存在互补的成本与收益。
我的计划是：首先简要说明我如何看待深度神经网络中的表征，为讨论奠定基础；然后，区分这两种广义的表征转换方式，即我所谓的内容特定方式和非内容特定方式；接着，我将论证（这是核心论点），在建模人类认知时，我们需要将其视为能够访问这两种表征处理风格，能够根据它们各自适用的领域和互补的成本与收益，灵活地在两者之间切换；最后，我会简要谈谈我们的AI系统是否也在发生类似的事情。
深度神经网络中的表征
为了快速理解深度神经网络中的表征，我将用一个非常简单的系统来说明。这是一个古老的三层神经网络，经过训练可以对一些刺激物（即物体）进行分类。你在输入层编码物体的属性，训练它在输出层将它们分为A类和B类。它找到的实现方法是，在中间层将物体分成不同的个体。因此，它在数据（也是世界）中发现了一种模式。中间层携带了关于该模式的信息，并利用这种分类来执行输出任务，区分A和B。
这样，我们就得到了构成隐藏层表征的要素：通过内容载体携带信息，以服务于执行某种功能（在本例中，功能来自系统的训练目标）。重要的是，我们在这里对表征持现实主义态度：由于表征的处理方式，我们获得了额外的解释性益处，即存在真实的表征载体。
载体可能是激活空间中的聚类（如左图所示），也可能是激活空间中的动态轨迹（如右图猴子记录数据所示），或者是多胞体或其他类型的流形。关键在于，表征内容是由网络活动处理过程中的真实特征所承载的。这意味着，即使你在描述处理动态时对内容或表征保持中立，这些特征仍然存在，它们不仅仅相对于表征解释而存在。这使其成为一种现实主义的表征解释形式。
尽管深度学习的大部分工作在于获得输出和技术解决方案，但正如我们昨天所见，也有一系列研究工作关注内层是否存在表征（有时称为内部表征）。例如，对包括GPT-2在内的自回归语言模型的研究。Men及其同事在这项研究中试图发现，是否存在内部处理的某些部分承载着对执行任务至关重要的表征内容（这里的任务只是预测下一个词）。例如，经过训练后，它可以完成句子“太空针塔在市中心___”，并正确地用“西雅图”补全。他们想知道，是否存在特定的处理部分对于执行该任务至关重要。
他们扰动输入，使输入降级，然后进行因果中介分析，以找出哪些特定的激活部分对于获得正确输出最为重要——如果固定这些部分，就能接近获得正确输出。他们发现，早期层中的一些激活模式很重要，此外还有一个后期组件。因此，他们的假设是：在看到句子的主语“太空针塔”后，系统学会了进入高维激活空间的一个特定区域，该区域表征着“西雅图”，然后这个嵌入就待在那里，准备在句子后面相关时被使用。后期的激活则是一个注意力头调用该信息，以便查找正确的词并输出“西雅图”。
如果这个假设正确，那么系统就学习了一种“关联”（他们称之为association），我们可以将其视为在两个激活空间的不同部分之间学习到的特定连接：左侧黄色的“太空针塔”嵌入空间部分，与浅绿色的“西雅图”嵌入空间部分相连接。这就是它学习到的、对回答这个特定句子至关重要的信息片段。
这是一种存储信息的有用方式，但它有局限性，因为“太空针塔在西雅图”这个信息只是存储在这种倾向性中。因此，它无法被普遍用于计算。它被设置在这种一种表征倾向性中。
相比之下，我们可以用句子“太空针塔在西雅图”做什么呢？我们可以重用这个句子，可以对它进行各种处理，可以在多种上下文中重用它。Meg及其同事在网络中发现的信息是以一种特定的意义隐式表征的。它是隐式的，因为内容存储在一种在当前表征（激活模式）之间移动的倾向性中。这意味着，该信息对后续处理的唯一影响，只能通过该倾向性所存在的那些表征来实现。
因此，这是对隐式表征信息所能做的事情的一种限制。
当然，这些网络也可以显式地表征信息。这里有一些其他研究，探讨另一个自回归语言模型如何表征信息。这个模型在大量语言上进行了训练，然后针对一系列特定任务进行了微调，这些任务涉及向烧杯中添加或减去水。在中间图中，你可以看到它可能给出的一个句子：“第三个烧杯里有四个单位”。它看到了更多关于蓝色的句子，然后最终“从第三个烧杯中排出两个单位”。因此，你应该预期第三个烧杯里现在有两个单位的液体。
对于所有那些可能的中介状态，他们进入网络，查看是否存在特别携带该信息且对执行任务至关重要的活动模式。这在方法上非常困难，我对此有一些方法上的担忧，但它触及了我正在谈论的问题：对一条信息（即“第三个烧杯有两个蓝色单位”这个临时事实）进行显式表征，然后这个显式表征可以在下游多个地方被使用。因此，与“太空针塔”案例不同，它是显式的。
但同样，它的使用方式取决于其非常具体的内容。它被设置为以一种依赖于特定主题的方式，与其他关于烧杯、液体及加减法的表征进行交互。这是一种从一个激活空间部分移动到另一个激活空间部分的倾向性，只适用于它被训练过的这个特定主题。
我认为这在深度神经网络中通常是正确的，或者可能是非常普遍正确的。
这里有一些早期关于卷积神经网络的研究，该网络经过训练进行图像分类。同样，从方法上弄清内部实际发生了什么非常困难，但有一些数据至少暗示了一种图景：在处理的早期层，它所做的类似于我们认为的人类腹侧流早期层所做的事情。也就是说，它从表征对比度和边缘等，到表征纹理，再到物体的部分，最终能够对物体进行分类。
因此，这些是一组很好的倾向性，用于在表征之间移动，例如从特定的对比度分布移动到表征边缘在某某位置的表征。它们在人类视觉环境的统计特性中运作良好，但它们并非普遍适用，它们只适用于那个主题。这些转换是忠于内容的，是一种保持正确性的转换，但它们是针对特定主题训练并适用于特定主题的。
定义非内容特定计算
这与我们开始时提到的苏格拉底推理形成对比，那是经典计算的核心。那种模式几乎适用于任何主题，你可以用其他事物替换苏格拉底、会死的和人类，你仍然会得到一个必然保真的转换。这就是我想要对比的。
让我再举几个例子。其他例子是逻辑和演绎有效的，比如“与消除”，它适用于任何命题大小的表征；或者使用“如果-那么”，同样非常普遍地适用于个体和属性的表征。
但这不仅仅依赖于演绎有效性。我们还能在其他类型的转换中获得这种非常普遍的适用能力，其中结论并不一定在前提为真的情况下为真，而只是很可能为真。例如，你可以设置一个系统（我们可能被设置成这样），从估计某事具有很高概率，直接转变为明确地表征它。这不是一个坏的倾向性，你很少会因这种倾向性而犯大错，而且它非常普遍适用。虽然比演绎有效的那些普遍性稍差，但仍然非常普遍。同样，从样本推广到总体或新实例也是如此。
因此，我们有一系列例子，与我认为人工神经网络中通常发生的情况形成对比：它们普遍适用性更强，并且忠于内容。大致来说，作为一种有用的表征转换方式，其设置并不依赖于正在表征的特定内容（或可称之为开放类概念）。
实现这一点的一种方式是通过拥有图式并使用变量绑定，但这并不是一个系统可以被恰当地描述为满足这些条件的唯一方式。也许满足使用“如果-那么”的倾向性，如果我写下的概括性描述恰当地描述了它的行为，那么它就可能满足条件。GPT-4的输出可能就属于这种情况，它可能被恰当地描述为在其表征之间满足使用“如果-那么”的条件，但在输出时并未使用变量。
这就是我想要对比的：非内容特定转换与内容特定转换。内容特定转换通常被训练到深度神经网络中，就像我给出的“太空针塔”例子，或者“第三个烧杯中的液体量”表征被处理的方式。
为了更精确，我将一种精确的说法呈现在屏幕上，以便有人以后想回顾时参考。这种转换的关键在于，表征间转换对内容的忠实性是否依赖于除逻辑项之外的任何东西。
对于那些类似逻辑推理的转换，它们忠于内容是因为“与”、“或”、“如果-那么”等术语的内容，而不依赖于所使用的其他表征。而对于内容特定的转换，它们可能是处理表征的好方法，但其“好”将取决于正在处理的特定内容。
当我谈论广义逻辑推理（或简称推理）时，我指的是那些被设置为能够进行这些非内容特定转换，并且正在这样做的系统。
非内容特定计算的优势
好的，以上就是区别。我认为这并不陌生，昨天在Ihita的演讲中，当她谈到推理时，她阐述的内容与此非常相似。我想说的是，这种思考表征间特殊转换能力的方式，向我们展示了为何以这种方式处理表征具有特定的优势。
首先，它赋予系统（思考者、个人）一种处理远超出其训练经验的表征的能力。
以科学史为例，我们可以想想阿尔伯特·爱因斯坦。他进行了大量关于空间和时间的逻辑推理和数学推理，然后在某个时刻构想出一个人骑在标枪上接近光速会是什么样子。这可能完全超出了他任何经过训练的信息处理倾向性的经验范围。然而，他可以对那个表征做一些事情，他可以在其上做逻辑推理。尽管从你内置的对表征的反应方式来看，它是全新的，但你可以通过对它进行一系列逻辑操作，到达新的领域。这是一种不依赖于从经验中概括的方式。
人们常评论说，组合性作为表征系统的一个特征是有用的，因为它允许人们思考新思想，或允许系统生成新可能性的表征。但较少被评论的是，在表征了一个新的可能性之后，你必须能够对它做些什么。非内容特定计算的能力赋予系统一种处理这些全新可能性表征的方式。
因此，我认为这里存在一个有用的“包”：一方面是非常领域通用的组合性能力（或以不依赖于特定内容的方式将现有表征以新方式组合在一起，这是语言和可能的概念思维的特征），另一方面是非内容特定计算能力。这两者自然结合，使得系统能够对这些新表征做一些有用的事情。
这是第一个优势。另一个优势与之相关，即利用存储的显式记忆做某事的能力。
深度神经网络有两种不同的处理过去的方式：它们进行学习，改变权重，这改变了处理未来输入的倾向性。因此，你通过改变整个处理系统的状态来从过去学习，使其倾向于在未来以不同方式处理输入。
当然，它们还有另一种处理过去的方式，这种方式已被证明非常强大：改变其激活状态，对你当前所处的状态进行瞬时改变。对于Transformer来说，这可以非常丰富和分支化，系统通过进入不同状态来响应的上下文现在可以长达数千个词。结合巧妙的提示工程，这已成为一种比任何人先前想象的都更实用的与世界互动的方式。
然而，这仍然是系统拥有一系列针对不同输入的、非常详细的输入-输出倾向性的问题。
考虑一个自然主义场景：我在外觅食，看到一棵树即将结果。这条信息可能会影响我第二天的选择——当我到达某个路口时，是左转还是右转，可能取决于这棵树是否在结果。我们可以将这两种不同的可能性视为长长的输入链：一组输入是我看到一棵不结果的树，发生了一系列事情，然后第二天我做出选择一；另一组输入是我看到一棵结果的树，同样的链条但输入不同，我应该产生输出二。我可以被设置为对这些两种不同的输入做出不同的反应。
但过去可能不止一天前，可能是一周前、一个月前，甚至是我去年看到的某件事。Randy Gallistel长期以来一直强调的一个观点是，通过构建处理器的改变来处理过去，在实践中存在局限性。因为你需要为可能遇到的所有不同路径投入处理资源，他称之为“可能的无限性”——有太多不同的可能性链条需要处理，最终你会投入大量处理能力来处理你可能看到的事情。
Gallistel认为这是一个实际限制，我们需要以不承诺于这个问题的方式来构建我们的实用计算机。他可能错了，我们此刻可能看到的是，对于我们想要的工程解决方案来说，这并非实际限制，我们可以用这种非常长的输入倾向性解决方案来处理。但我认为，当我们考虑到资源限制不同的人类时，有相当有力的证据表明我们使用了不同的解决方案：我们存储显式记忆。
因此，我们可以遇到一个情境，存储它的表征，而无需立即改变我们处理输入的倾向性，然后在决策时，如果相关，就利用它来计算该做什么。我们在一些深度神经网络模型中也看到了这一点，例如昨天看到的DQN示例，它被描述为使用情景记忆。但这涉及在不改变权重的情况下存储情境，然后利用这些情境在决策时决定做什么。这提供了一种灵活的一次性学习，因为如果你再次遇到相同的情境，你可以直接做同样的事情来获得奖励。
于是我们看到，处理过去有两种广义的解决方案：一种是深度神经网络解决方案，它改变其输入-输出倾向性，这需要大量学习和数据（尽管我昨天很惊讶地得知，训练一个Transformer所需的能量相当于往返月球两次，所以当我们说需要大量训练时，我们真的是在谈论大量训练）。然后，在决策时它的计算相对较轻，因为在某种程度上，该做什么已经被预先指定了，即使它可能需要处理很长的输入序列。
另一方面，我们有使用显式记忆进行计算，这类似于学习，允许一次性学习，但在决策时（当你需要计算出该做什么，或进行推理以得出新结论、弄清情况时）计算量很大。这也引发了“计算什么”的问题：如果你存储了所有这些丰富的记忆，在某一时刻我应该调用哪些记忆来计算出该做什么？这里我们看到了熟悉的（尽管已淡入背景的）框架问题，我稍后会再谈。
人类认知的混合模型
好的，以上就是拥有非内容特定计算能力的一些优势。现在我想论证的是，人类灵活地依赖于这两种处理方式。让我举一个日常例子。
假设我在外购物，考虑买家具，其中一件事是考虑买这把椅子或买哪把椅子。我可能会做一些逻辑推理：我可能看到两把规格完全相同的椅子，其中一把更便宜，我就会排除贵的。但我也可以依赖于训练到我专门系统中的信息，这些系统具有内容特定的倾向性。或者更通俗地说，如果我考虑“我今天能把椅子带回家吗？它能放进车里吗？”，我可以在脑海中旋转它，看看它是否看起来能放进车里。在这里，我所做的是依赖于训练到我感觉运动能力中的信息（在人类案例中，可能还带有相当多的进化禀赋，关于这些能力如何学习）。我拥有一套在与世界互动时使用的感觉运动倾向性，我可以离线运行这些倾向性进行模拟，从而利用其中的信息。
因此，我是在来回切换，或者同时使用我在这问题上的逻辑推理能力，以及训练到我领域特定系统中的信息。
我认为规划通常涉及这种混合。周五晚上我们看到Jan LeCun谈论规划，以及你需要一个可以计算可能性的世界模型。我认为重要的是要记住，这个世界模型可能不仅仅是一组你可以进行推理的显式表征情境，我们也可以使用这些训练好的、深度神经网络擅长建模的内容特定倾向性，通过离线运行模拟，将它们作为一种世界模型来使用。
因此，我认为人类两者兼用，并且有合理的证据表明我们不仅仅在做内容特定的事情，我们也在进行逻辑推理。就我的目的而言，我们是在仅用输出做，还是在内部做，并不重要。我认为有相当好的证据表明我们可以用输出做，而且我们可能借助语言做到这一点，然后在内部回收利用以进行逻辑推理。
实际上，有一系列证据表明，在非语言任务中，以及在不依赖我们语言能力的方式中，我们确实使用了类似内部逻辑引擎的东西来解决问题或决定在特定情况下该做什么。例如，来自Stanislas Dehaene实验室的一系列工作显示了非常具有启发性的结果，实际上Jake Quilty-Dunn及其同事最近在《行为与脑科学》的一篇目标文章中总结了该领域的一系列结果。
因此，我认为有合理的证据表明人类在运行一个逻辑引擎。但即使我们只是在使用输出，在正确的上下文中进行类似逻辑的输出并重复使用，我认为我们确实在这两种风格之间来回切换。部分原因在于我给出的理由：因为它为我们提供了一种思考全新概念空间的方式，因为我们可以对我们用通用组合性能力生成的完全新的可能性进行逻辑处理；同时也因为它为我们提供了对我们存储的所有显式记忆（当我们显式地表征我们遇到的情境时）做一些有意义的事情的方法。
深度神经网络的局限与AI的未来
好的，这就是在肯定深度神经网络惊人成果的同时，强调其局限性的方式。你可能会问，如果非内容特定计算这么好，为什么我们以前不能用经典计算风格解决所有这些问题呢？嗯，我认为部分原因在于我刚才提到的使用非内容特定计算的局限性。
一方面，我刚才顺便提到它计算量大，需要大量计算资源来弄清情况或决定该做什么。因此，如果你在一个能够获得大量经验的领域操作，那么训练一种专门的应对世界的方式并依赖它，可能是一种更高效的解决方案。
另一方面，我刚才顺便提到了“计算什么表征”的问题。我们拥有进行广义逻辑推理的强大能力，因为我们有一种以中立于其内容的方式转换表征的方法。但我们要用它来做什么呢？我们拥有所有我们表征的东西，所有我们知道和记住的东西，其中只有一些是相关的。框架问题就是如何找出哪些表征是相关的，以便开始对它们进行一些逻辑推理，以便做出决定。如果为了找出哪些是相关的，我需要检查所有表征，那么看起来我已经有了计算上难以处理的东西。实际上，目前至少我所知的、利用显式记忆的深度神经网络混合系统，确实会检查所有记忆，它们有一种检查所有记忆相关性的机制，只召回相关的那个。
我认为，这里又是混合系统发挥两种风格计算互补成本与收益的地方。深度神经网络为我们提供了一套基于相关性召回表征的选项，可能足够灵活，至少能在一定程度上帮助我们应对召回相关表征的问题。
我们昨天看到了这方面的证据。让我提醒你一下Grün及其同事的这项研究展示了什么。他们研究了一组概念在高维语义空间中的排列方式，既在神经网络中，也在人类中。你可以看到，这个空间为你提供了一种基于某种相似性来召回或检索表征的方式——也许与当前情境最相关的事物是那些相似的事物。
但他们展示的有趣之处在于，我们可以沿着不同的语义维度在这个空间中进行召回。例如，我们可以考虑沿大小维度的相关性或相似性，这会使某些事物靠得很近，另一些则很远；但我们可以单独选择另一个维度，比如某物是危险的还是安全的，并考虑沿该维度的相似性，然后你会得到相同项目完全不同的排序。以海豚和老虎为例，它们在危险性上相距甚远，但在大小上却被视为非常相似。
因此，如果我们依赖于在深度神经网络中训练的语义空间或表征相似性空间，它不仅仅为我们提供了一种基于相关性召回事物的方式，它还提供了一种非常灵活的、根据上下文进行不同类型相关性召回的方式，即沿着这些空间中的不同维度投射相关性。Grün及其同事表明，从训练好的语言模型中得到的不同的投射，与如果你要求人类给出沿不同维度的相似性判断时得到的结果非常相似。因此，我们似乎可以以多种不同的方式召回表征或记忆，我们可以考虑不同类型的相关性，以找出可能与推理相关的事物。
总结与展望
我希望我已经让你感受到，内容特定与非内容特定的区别向我们展示了为什么存在两种具有互补成本与收益的处理风格“包”。至少当涉及到建模人类认知时，我们需要考虑一种能够访问两者、对其适用领域有一定敏感性、并能灵活在两者之间切换的系统。
最后，我想谈谈AI模型，特别是大型语言模型中正在发生什么。
直到本周，或者说直到GPT-4出现之前，我本可以轻松地说，大型语言模型在推理任务上并不擅长，尤其是在分布外的情况下。我们昨天从Ida那里看到，他们有很好的工作表明这些模型具有类似人类的内容偏见，但它们可能并非以类人的方式进行推理。我们让它们进行推理，部分是通过对大量计算机代码行进行训练，部分是通过非常仔细的提示工程，提示它们以鼓励推理风格的方式输出内容特定的输出。
因此，尽管它们在输出中近似推理，但似乎不太可能通过内部的非内容特定转换来生成它。当然，这里的一切都非常不确定，因为很难知道内部发生了什么，而且只有少量研究关注这一点。但有一些提示性的证据线索：一是至少在GPT-4之前，当你给系统分布外示例时出现的错误模式；二是当你专门在大量逻辑上训练一个模型时会发生什么——它们似乎不太擅长掌握负责逻辑句子的逻辑操作（这是Ellie Pavlick实验室的Tramer及其同事的工作）。他们实际上有更新的研究，不是训练逻辑，而是训练物理情境，其中理解逻辑会非常有帮助，但同样，模型似乎没有掌握底层的逻辑。
那是上周之前的情况。现在对于GPT-4，我真的不知道该说什么，部分是因为我对它了解不够，部分是因为我们大家都不太了解它。但它似乎在推理任务上表现得更好。我认为最稳妥的说法是，我们需要等待和观察。但至少有一些迹象表明，它可能也没有在内部使用逻辑引擎，这既是因为它与早期模型的相似性，也是因为它仍然不擅长规划——如果我们认为它内部能访问非内容特定计算，它应该更擅长规划。
现在，当我们谈论技术解决方案时，这可能不是一个非常重要的限制。如果我是对的，拥有访问非内容特定计算的能力具有计算优势，但这不一定需要在内部处理中实现。我敢打赌，如果它有用，将其构建到大型语言模型的内部处理中可能不会有用——近年来得出的教训大概是，构建结构要么会被系统学会避免，要么会使其性能更差。但还有另一组使用它的方式，即利用输出的推理能力。最后我只想提两种方式：一是使用大型语言模型产生输出，通过正确的提示来近似推理；二是让大型语言模型产生内容特定的输出，利用其丰富的领域知识，然后与Python或某个专用逻辑引擎等推理引擎交互，以便能够对这些输出进行约束逻辑推理。我们已经看到了一些这方面的例子。
另一种我认为很迷人的方式，近似于同一件事，即以两种不同模式使用同一个模型，使用不同类型的提示。这是DeepMind的Creswell及其同事的工作。他们表明，你可以设置模型，使其在推理模式下（通过正确的提示）近似逻辑推理；但你也可以使用他们所谓的选择模式，在这种模式下，它更多地基于人们倾向于说什么以及环境中的统计数据，在句子之间进行内容特定的移动，类似于Ida昨天向我们展示的那种内容偏见。
他们表明，通过在这两种提示类型之间来回切换，你可以做一些聪明的事情：让它告诉你它所拥有的关于世界的丰富知识，然后提示它进行逻辑推理，接着它可以使用逻辑推理推理出一些新东西，然后再将其作为输入放回同一个模型，但现在是回到选择模式和内容特定模式。
这些只是可能的工程解决方案的提示，谁知道这些东西会走向何方。但我认为至少存在三种经验可能性：
-
GPT-4或其继任者可能以端到端的方式处理一切，我所说的在人类系统中的优势，在资源限制不同的系统中可能并不需要。
-
混合系统可能作为一种实用的工程解决方案被证明是有用的，也许是Creswell及其同事的方法，但添加这个功能并获得我所说的互补成本与收益，可能只是一个相对浅层的工程问题。
-
也可能存在某种深层原因，使得建立一个能在两种计算风格之间灵活切换并以正确方式整合它们的系统变得困难。
因此，从经验上讲，我认为我们不知道，看看未来几年建模会带来什么可能性将会非常有趣。
最终总结
让我回到我的核心观点来总结。
我一直主张，这两种不同类型计算模型（经典的和人工神经网络）之间的核心区别，在于它们被设置为在表征之间进行转换的两种深层不同方式。这两种方式都符合更广泛的表征主义洞见：设置一个系统，使其能从一些正确的输入移动到正确的输出，或以忠于其内容的方式操纵表征，这是有用的。
但有两种截然不同的方式来实现这一点：非内容特定方式（这是我们首先作为工程解决方案发现的）和内容特定方式（在深度神经网络中被证明比人们想象的要强大得多）。
我认为这种划分方式（虽然与其他许多划分方式相关）使我们能够阐明为什么这两种方法具有互补的成本与收益“包”，以及为什么至少在人类案例中，我们需要用混合系统来建模它。
因此，尽管深度神经网络端到端训练一系列内容特定倾向性的方法，已被证明比人们预期的要强大得多，但它仍然存在一些局限性，而非内容特定计算提供了一个互补的“包”来应对这些局限。我特别指出了两点：
-
对存储的显式记忆做有意义事情的能力，这些记忆可能超出了系统训练内容特定倾向性的经验范围。
-
与此相关，对通过通用组合性能力生成的全新可能性做某事的能力。因此，系统可以思考完全新的东西，并且它也可以对这些思想进行处理，因为它可以对它们进行逻辑推理，即使它被训练来反应的任何东西都无法对它们进行任何合理的推理。
然而，这种计算风格也有熟悉的局限性：决策的计算成本和框架问题（检索什么的问题）。我认为，访问那些在某个领域受过训练、具有内容特定倾向性的专门系统，是应对这两类问题的有用方法。
这就是我的和平解决方案。围绕这两种不同计算风格的战争不需要持续下去。我希望各方都能实现和平，尽管我并不真的期待如此。我期待你们的问题。
在本节课中，我们一起探讨了逻辑推理在认知建模中的核心地位，对比了内容特定与非内容特定计算的根本区别及其互补优势。我们理解了为何一个完整的人类认知模型需要整合这两种处理风格，并初步探讨了当前AI系统（如大型语言模型）在这方面的现状与未来可能的发展方向。关键在于认识到，强大的智能很可能源于灵活、协同地运用多种计算范式。
007：深度神经网络中的组合性
在本节课中，我们将探讨深度神经网络中的组合性。组合性是语言和认知的核心特征，它允许我们通过已知元素的灵活重组来理解和创造无限的新颖表达。我们将分析深度神经网络是否以及如何实现组合性行为，并探讨其背后的机制。
引言与致谢
我们的下一位演讲者无需介绍，至少对这个群体而言。他就是我们自己的Raphaël Millière。
Raphaël是哥伦比亚大学科学与社会中心2020年的Robert Abert总统学者，专攻神经科学与哲学。他确实是深度学习的专家，在哲学领域乃至其他领域都堪称权威。
Raphaël是本次会议构想的发起人，早在会议筹备初期就提出了这个想法，并为整个活动的顺利举办付出了巨大努力。我们非常期待听他讲述深度神经网络中的组合性。
在开始之前，我想感谢所有使这次活动成为可能的人，包括哥伦比亚大学和纽约大学的优秀同事、工作人员和学生。这次活动在后勤上充满挑战，我们确实发现哥伦比亚大学和纽约大学的联合力量不容小觑。感谢大家。
什么是组合性？
上一节我们介绍了本次演讲的背景。本节中，我们来看看组合性这一核心概念。
当我们谈论组合性时，通常指的是语言学中的一个经典原则，该原则旨在量化语言的表达。以下是B. Partee的经典表述：整体的意义是其组成部分的意义及其句法组合方式的函数。
因此，组合性的理念是，语言使用者可以通过灵活地重组已知元素来理解和产生潜在无限数量的新颖、合乎语法的语言表达。这被认为是人工语言、形式语言乃至自然语言的核心组成部分。
以句子“Gary dislikes deep learning”为例。这些单词组合成句子的方式至关重要。我们并非像处理词袋一样处理这个句子。如果你打乱单词顺序，变成“deep Gary dislike learning”，这仍然是一个合乎语法的句子，但意义却大不相同。
然而，如上所述的原则非常强，同时也相当不确定。什么构成了整体和部分？意义是否以这种方式组合？复杂表达式的意义是否被严格决定？这些都是可以提出的问题。有理由认为自然语言并非在这种意义上是强组合或严格组合的，但至少它似乎是弱组合的，即至少某些复杂表达式的意义至少部分地由词汇语义和句法的组合决定。
我们可以将这一思想推广到其他领域。这是一篇关于“思维语言”的PBS论文近期评论中的插图。视觉也被认为是组合性的，视觉输入中可能存在以组合方式结合的特性，例如骨架结构和逻辑关系等抽象概念。即使这些组件的某些内容不同，它们在组合结构方面似乎也有相似之处。
组合性行为与表征
上一节我们定义了组合性。本节中，我们探讨如何用组合性来刻画行为。
鉴于语言乃至其他领域具有组合性，我们希望构建的人工系统能够表现出组合性行为，即能够以正确的方式解析这些领域的组合结构，匹配我们人类的方式。
在语言领域，例如，如果我们构建一个聊天机器人，从文本输入到文本输出，我们希望聊天机器人能够组合性地解析输入，即使其含义可能非常离奇或令人惊讶。
这是一个来自“The man bit the dog that needs urgent care”的经典例子。如果我们仅依赖词袋方法来组合这些单词的意义，我们可能会依赖“man”和“urgent care”共现的常见统计模式，从而推断出“the man needs urgent care”。但如果我们正确地组合性解析输入，就能给出正确答案。
同样，在其他领域：
-
如果我们构建一个以文本为输入、生成图像为输出的图像生成模型，我们希望它能解析正确的组合结构。
-
反之，对于图像描述模型，从图像生成标题也是如此。
-
我们甚至可以将其视为纯粹的视觉领域，例如图像分割模型，它将图像分解为其组成部分的对象。
最后，当我们谈论组合性时，也常常涉及表征。
其理念是，使我们能够实现这种组合性行为的，是一种特定类型的表征格式、结构以及对表征的处理过程。
这是一个来自Lake等人经典BBS论文的近期例子：“组合性是一个经典思想，即新的表征可以通过现有表征的组合来构建。”
这里有两个相互关联的理念：一个涉及表征如何处理，另一个涉及它们如何结构化。其理念是，存在一个函数或过程，可以将表征组合成更复杂的表征，并且这些更复杂的表征具有某种结构。
经典架构与连接主义困境
上一节我们讨论了组合性行为与表征的关系。本节中，我们来看看关于如何实现组合性的经典观点及其对神经网络的挑战。
在经典的符号架构方法中，我们可以很容易地解释组合性。我们假设，实现这种组合的正确表征是符号表征，采用类似语言的格式，这就是经典的“思维语言”假说。我们拥有离散的组成部分，它们组合成复杂的分子式表征。
这里的理念是，正确的组合概念是我们可以称之为“连接性组合”的概念。其思想是，当我们将原子表征组合成复杂表征时，我们将原子表征的标记共同标记到复杂表征中。因此，我们将表达式的组成部分的标记保留在复杂表达式本身中。
实际上，几乎每一个标准的、熟悉的组合性表征方案在这种意义上都是连接性的，例如语言、形式语言和数理逻辑。
在这种模型中，还存在“角色-填充物独立性”的理念，即组成部分的句法角色与这些角色的填充物之间的独立性。例如，在“Kim thinks Ali”和“Ali thinks Kim”中，我们可以改变复杂表征的结构，而符号“Ali”和“Kim”在复杂表征中的表示方式相同。
经典方法的支持者对人工神经网络提出了一个经典的两难困境。其出发点是，人类语言和认知在很大程度上是组合性的。
这个两难困境如下：
-
如果人工神经网络缺乏具有正确成分结构的组合性表征来支持这种连接性组合，那么它们就无法以正确的方式表现出组合性行为。在这种情况下，人工神经网络无法解释语言和思维的组合性。
-
或者，如果它们确实具有正确成分结构的组合性表征，那么它们仅仅是实现了一个经典架构（如思维语言）。
以下是来自Fodor和McLaughlin的引述：“正是因为经典的心理表征具有经典成分和这种连接性组合模式，它们才为结构敏感的心理过程提供了领域。”
有趣的是，我们发现近年来这种两难困境被重新审视。一方面，像Gary Marcus这样的人认为这些系统始终无法处理组合性。另一方面，Jake Ctan等人在PBS论文中提出了更微妙版本的另一种观点，即深度神经网络可能通过实现思维语言的核心特征，在广泛领域和任务中模仿生物感知和认知的表现。
当然，还存在第三种可能性，早在80年代和90年代的旧辩论中就已探讨过：人工神经网络可能表现出组合性行为，拥有组合性结构的表征，但并未实现经典架构。
然而，问题在于，这如何可能？在经典架构中，拥有以正确方式组合的表征是直截了当的，但在深度神经网络或连接主义模型中则不那么直接。
从连续向量到组合性
上一节我们探讨了经典架构对神经网络的挑战。本节中，我们来看看神经网络如何利用连续向量实现组合性。
这是因为这些模型处理的是连续向量表征。如何从连续向量表征（而非离散符号表征）中获得组合性？
如果你考虑二维向量空间中的两个向量，组合它们的一种方法是简单地对这些向量求平均，从而得到第三个向量。但这似乎无法提供正确的结构。结果向量中肯定没有离散的成分结构，而且这是一个非常简单的操作，似乎无法提供组合性行为所需的任何东西。
我们昨天在Finten的演讲中讨论过浅层词嵌入，它将词汇表中的每个单词转换为一个唯一的向量。使用这种浅层词嵌入，你并没有一种原则性的方法来表示语言中复杂表达式的意义。你能做的是对向量求和，例如，将句子“Gary dislikes deep learning”中的所有单词像词袋方法一样求和，但这并不能真正提供表达式句法结构的正确表征。
那是2013年Word2Vec的时代。但十年后的今天，我们有了至少表面上看起来非常令人印象深刻的东西。这是一个来自GPT-4的例子。我给它一个改编自Gary Marcus例子的提示，该例子本应是组合性的失败案例。
John pulled out of a bag a metallic purple key, a square hardcover book, a green round melon, a red ripe banana, a sparkling purple gem, a square red card, and a fuzzy purple hat. He placed the first item he pulled out into his bedroom safe, the second purple item into his football, and everything else on his living room table. Why did John place into his football?
它给出了正确答案。要给出正确答案，似乎必须以某种方式处理该句子的组合结构。如果你采用词袋方法，只是对输入向量求和，那可能无法提供实现这种行为所需的资源。
那么，这是如何可能的？这里的计划是将语言模型的性能与其底层能力分开，这也是Nick在本次会议中一直强调的问题。
具体来说，语言模型是仅仅记忆组合结构，还是依赖浅层的统计启发式方法，或者仅依赖内容特定的转换来近似组合性行为？抑或是它们做了更复杂的事情，学习了非平凡的、能够泛化到训练数据分布之外的组合函数？
评估组合性行为：概念组合
上一节我们提出了关于神经网络如何实现组合性的问题。本节中，我们首先从评估其行为开始。
让我们从组合性行为开始，可以从非常轻句法形式的组合开始，即我们昨天在概念讨论中谈到的概念组合。
人类非常擅长解析组合两个概念的短语名词，这需要将词汇语义与最简句法以及一些背景知识结合起来。这不是Partee意义上的严格组合，但句法确实重要。例如，“car factory”是工厂制造的汽车，而“factory car”不是汽车制造的工厂。因此，考虑概念组合的句法仍然很重要。
我与一些同事（Catherine Stinson也在现场）希望测试语言模型是否能做这种事情。因为Brennan和Gregory Murphy在他们昨天讨论的论文中认为，语言模型无法真正解析新颖的概念组合，特别是那些组合意义具有某些组成部分都不具备的新兴特征的新颖概念组合。
我们为此创建了一个基准测试任务。这是一个由Google Brain主导的名为Big Bench的大型基准测试项目，用于评估语言模型。我们提交了一个任务来尝试这一点。我们有几个子任务，以下是一些例子：
-
示例1（实际词汇概念组合）：概念是“wooden deer”。问题是“以下哪个句子最能描述wooden deer？”，然后有四个候选句子。我们可以使用似然度来评估模型认为哪个句子最适合该问题。这是一个使用训练数据中存在的概念或词汇的例子。
-
示例2（元词汇）：我们在提示中定义词汇。“pleater”意为通过拍打翅膀飞行的物体，“nif”意为没有羽毛的物体。问题是“以下哪个句子最能描述pleater nif？”
-
示例3（矛盾组合）：概念是“deadly caregiver”。问题是“以下哪个句子最能描述deadly caregiver？”，正确答案是“homicidal nurses are delicate caregivers”。
重要的是，我们在备选答案中包含了大量这类干扰项，以区分对浅层启发式方法的依赖和对新颖概念组合的实际解析。
当Google在许多模型上运行此任务时，我们对初步结果感到非常满意，因为该任务的目标是难度很高，即人类能做得好而语言模型做不好的任务。包含GPT-3的初步结果确实引人注目，事实上，这是所有提交的Big Bench任务中差异最大的之一。人类平均表现很好，最佳人类表现完美，而模型的表现基本上是随机的。
然后，Google训练了其内部语言模型PaLM，它比GPT-3更大（GPT-3有1700亿参数，PaLM有5400亿参数）。在零样本情况下，PaLM基本上达到了人类的平均水平。遗憾的是，GPT-4论文没有在Big Bench上评估模型，因为训练数据中存在一些污染，他们试图避免，但不知何故，Big Bench的一些任务泄露到了训练数据中，因此他们未进行评估。但你可以想象GPT-4的表现至少会和PaLM一样好。
评估组合性行为：句法泛化
上一节我们看了概念组合的例子。本节中，我们探讨更复杂的句法组合泛化。
我们想要的是能够以正确的组合方式泛化复杂输入的模型。这里的一个相关问题，正如Tal昨天讨论的，对于在大量人类数据上训练的大型语言模型，很难区分性能的哪部分归因于真正的泛化，哪部分仅仅归因于记忆训练数据中的某些特定结构。解决这个问题的一种方法是使用合成数据。你可以创建一个合成基准或合成数据集，使得学习正确的输入-输出映射并在测试集上泛化到训练数据之外，需要严格的组合性泛化。
多年来已经开发了许多这样的合成数据集。以下是来自Lake和Baroni的SCAN数据集的例子。其思想是将左侧的指令翻译成一个小代理可以在虚拟世界中执行的动作，这需要组合性地解析这些输入。例如，有“twice”这样的术语，要求你执行一个动作两次。为了在这个数据集的某些部分正确泛化，你必须进行组合性泛化。
多年来，这些合成数据集上的性能表现和改进模式相当有趣。我们看到类似的趋势，即性能显著提高。同样，这是针对在这些合成数据集上训练的模型。情况有点复杂，因为准确率取决于数据如何划分。关于这方面的研究很有趣。像SCAN这样的数据集基本上可以说已经解决了，有些模型具有完美或接近完美的性能。但对于其他数据集，例如更难的COGS，一些泛化仍然具有挑战性，例如递归似乎更具挑战性，而其他一些则似乎完全解决了。
当然，如果你用显式的组合性语义解析器来增强语言模型变换器，那么你实际上可以获得完美的性能。但问题是，你能否在没有将正确的句法先验构建到模型中的情况下做到这一点？
似乎有帮助的因素包括：
-
架构调整：例如，位置编码的一些修改，模型如何编码输入序列中标记的位置。
-
学习策略：如元学习或同时训练多个任务，以鼓励泛化的方式。
-
数据增强策略：自动重组训练实例以创建新的人工训练数据，直接帮助模型泛化。
我们可以讨论这些不同因素有多大帮助，以及在多大程度上改变模型会产生差异。尽管如此，你可以在这些基准上实现非常好的性能（虽然不是完美），而无需嵌入显式的句法解析器。因此，这些模型中无疑存在一些非平凡的、高度非平凡的组合性泛化量。
解释组合性：内部机制探索
上一节我们看到了神经网络在组合性任务上的表现。本节中，我们探讨如何解释这种能力，并开始形成关于其内部工作机制的假设。
Nick已经暗示过，会议中的许多人也都暗示过，有不同方法可以尝试打开这些模型的黑箱，尝试根据它们获得的表征以及处理这些表征的方式来推断内部发生了什么。
一种方法是探测，昨天在Jacqueline的演讲中详细讨论过，这里不再赘述。已有大量工作表明，如果你尝试使用分类器探针从模型的内部激活中预测输入的特定组合属性，你实际上可以恢复很多信息。例如，像BERT这样的模型（即使是与当今模型相比相对较小的模型）编码了关于词性、句法块、不同语义角色和句法角色的信息。也有证据表明，共享句法子树（如左图所示）的单词在模型的预测中彼此影响更大。
当然，正如昨天Rone Jacqueline的演讲中提到的，这最多只能揭示模型中存在可通过正确探针解码的信息。但这本身并不能告诉你模型是否在利用这些信息来产生输出，以及如果是，模型是如何利用这些信息的。
你可以通过各种方式超越这种探测方法，这可能在方法论上变得相当棘手和复杂，无法在此深入细节，但我想在专注于其中一种方法之前提及各种方法。
Tom McCoy等人进行了一项非常令人兴奋的工作，他们研究了不同的深度神经网络架构，并询问这些架构是否可以近似张量积表征。张量积表征是Paul Smolensky在关于组合性的连接主义与经典方法辩论的早期开发的一种巧妙策略。这种架构依赖于拥有在极限下正交的不同类型的向量。其中一些向量是填充物向量（如句子“Kim thinks Ali”中的Ali和Kim），另一些是角色向量，它们绑定到不同组成部分的角色（如该特定逻辑表达式的施事者或受事者）。你可以通过称为张量积运算的方式组合角色向量和填充物向量，这是一种可逆的运算，因此一旦你完成了张量积，就可以将得到的张量积表征分解为组成部分的角色和填充物向量。这是一种旨在实现这种角色-填充物绑定且具有角色-填充物独立性的表征，因为你可以以独立的方式表示角色和填充物。
但在这种架构开发的早期，存在一些问题，其中之一是角色向量（例如这些句法角色）在某种程度上是特设的，你必须将它们构建到模型中。当然，这不是当前模型的学习方式，也不是我们希望它们学习的方式。
但有趣的是，Tom McCoy和同事发现，循环神经网络和Transformer（还有尚未发表的工作）在简单的符号任务上训练时，可以被张量积表征以接近100%的准确率近似。这非常有趣。例如，对于RNN，它由编码器和解码器两部分组成，他们表明你可以用他们称为张量积分解网络的部分替换编码器部分，该网络以这样的方式设置张量积表征，然后解码器可以利用这个张量积网络的输出，基本上表现得一样好。
这非常有趣，它超越了这种探测方法，因为你可以替换网络的整个部分，并在输出中发现等价性或收敛性。这是在简单符号任务上训练的模型。同样，如前所述，还有正在进行的工作（尚未发表），来自Tom的问题，当你使用自然出现的句子而不是模板句子时，近似本身在像BERT这样的模型的较低层仍然非常强，但在较高层变得稍弱。这也很有趣，我们可以讨论其中的一些含义。但如果你使用符号任务或模板生成的句子，你会得到接近100%的准确率。
另一项有趣的工作来自Chris Manning的实验室，也非常新（可能仍在审稿中或已被ACL接受）。同样，由于他们所做的实际上相当复杂，我无法在此深入细节。这不是一项探测研究。他们在这里提出的问题是：Transformer模型实现的计算功能是否类似于自然语言的层次树状结构？
为此，他们发明了一种新方法，涉及掩码输入序列的一部分（如“red apples are delicious”），以查看模型为字符串的子部分编码了哪种表征，试图获得那种上下文无关的表征，然后获得相同元素在整个输入上下文中的表征。他们这样做是为了构建那个小表格，然后他们通过找到最佳匹配的二叉树（他们称之为树投影）以及相应的树分数，来找到最能近似该特定输入序列的Transformer的树结构循环神经网络，这种方式是完全无监督的。
他们发现的另一件我认为相当有趣的事情是，这不仅效果很好，而且他们测试的Transformer在训练过程中变得更加树状。他们发现了这种非常有趣的关系：越树状的模型在这些组合性泛化测试中泛化得越好，而那些不那么树状的模型则较差。这开始看起来像是对Transformer组合性泛化能力的一种解释，即其表征的树状结构。
机制可解释性与注意力机制
上一节我们探讨了几种研究神经网络内部表征的方法。本节中，我们重点介绍一种最令人兴奋的方法：机制可解释性。
这是一种主要由Anthropic的Chris Olah及其同事开创的方法，但现在许多人都在研究。它涉及尝试查看模型中的电路，即网络内的子网络或子图，你可以尝试逆向工程并解释该特定电路在信息处理方面的作用。
这更容易在小型模型中进行，在大型模型中变得困难得多。但这可以让我们深入了解网络中部分实现的实际计算类型，以及这与它们产生的输出有何关系。
我知道Cameron说过我们约定不解释Transformer架构和注意力，我将尊重部分约定，因为不会深入键、查询和值向量等内容。我认为机制可解释性人员以这种方式构建框架更有帮助和直观，即残差流的概念。
如果你取一个Transformer（这里不是真正的Transformer，因为没有显示所有层和高度非线性的多层感知机部分，只关注注意力机制这一架构的关键方面），将其视为一种残差流是有用的，这是处理输入序列中每个标记的流，从输入到输出跨越整个网络。
其中有不同的元素：输入标记（你输入到模型的内容）被嵌入为向量，这些向量最初是上下文无关的（只是词汇表中每个标记的唯一向量）。然后你进行一个小操作，添加一些关于标记在输入序列中位置的信息，称为位置编码（有各种方法，但我们不需要深入）。
我想关注的关键部分是多头注意力模块。你有多个这样的模块堆叠在多个层中，它们由不同的注意力头组成，每个头做一些我们稍后会讨论的事情。你进行这种加权求和，返回一些向量。因此，在嵌入阶段，我们有一些输入向量，然后在每一层应用多头注意力后，你得到修改后的向量。最后，在网络末端，你有解嵌入矩阵，从这些向量转到词汇表上的概率分布（logits），使你能够预测输入序列后应该出现的单词。
那么，这些注意力模块在做什么呢？我认为机制可解释性工作的真正有趣之处在于发现注意力选择性地和动态地路由信息。
-
选择性：因为每个注意力头在训练期间会逐渐对跟踪标记之间的某些依赖关系或关系更加敏感，这可以非常抽象。
-
动态性：因为注意力头编码和解码的信息可以被路由到网络的其他部分，供其他层或其他注意力头进行进一步处理。
再次以“Ali thanks Kim”为例。对于一个标记，你在嵌入阶段有一个向量。然后，在应用多头注意力之后，你有一个修改后的向量（例如，这里只有三个维度）。你的向量发生了变化，这是因为多头注意力模块中发生的事情。
但机制可解释性研究的关键发现之一是，这些不同的注意力头可以读写信息到主嵌入空间的子空间。主嵌入空间维度非常高（在GPT-3中超过12,000维），但这些注意力头通过将嵌入向量投影到非常小的子空间（相比之下）来工作。同样，为了直观表示，我展示了3D嵌入空间的二维投影中的子空间。
重要的是，注意力头读写信息的子空间可以是不相交的。由于有这么多可用的维度（如此高维的空间），并且初始嵌入并未使用所有这些维度，因此你可以读写信息到不相交、互不干扰的子空间。
因此，对于流中的每个标记，每个注意力头在做两件事：
-
确定，根据其在训练期间获得的特定功能，它应该更多地关注输入中的哪些其他标记（包括源标记本身）。这就是为什么它被称为“注意力”。
-
确定应该从它关注的标记中检索哪些信息，并将其移动到残差流中。这就是它读写信息到子空间的方式。
再次以句子“Ali thanks Kim”为例，使用一个非常玩具化的模型，你可能会认为有一个特定的注意力头（你会发现看起来非常像这样的东西）可能正在跟踪该句子中“感谢”关系的施事者是谁（是Ali而不是Kim）。当该注意力头将主嵌入投影到这个子空间时，可能是一个专门跟踪施事者角色的子空间。它会给予标记“thanks”与标记“Ali”（或代表Ali的标记）较高的注意力分数，因为Ali是这个特定句子的施事者。然后，它将从Ali的投影向量中检索信息，并将其向上游移动以供其他处理。
重要的是，这发生在多个层上，并且信息（如前所述，由于动态路由）可以从一层路由到另一层，跨越位置。因此，认为残差流和每个标记的嵌入只是关于该标记的信息，实际上并不那么有帮助，因为信息在移动。随着你在网络中处理信息，它变得高度组合，因为存在结构化的信息在子空间中被路由，不仅跨层，而且跨不同的流，这些信息被组合在一起，以执行开始看起来像更复杂算法的操作。
这是一个使用机制可解释性研究人员开发的小型网络（GPT-2 small）工具的例子，针对这个特定的句子。你可以看到，在某一层中有一个注意力头，对于标记“thanks”，它给予“Ali”较高的注意力分数，因此它在那里跟踪某种关系，可能由这个特定的注意力头跟踪。
但这里的重点是，由于注意力头可以在不相交的子空间上工作，这些子空间可以充当一种虚拟的内容可寻址存储器：你可以向其中写入信息，也可以从中读取信息。当子空间之间没有干扰时，这开始看起来有点像某种形式的可变绑定（我稍后会回到这一点），但肯定像Nick所说的非内容特定计算。
以下是具体的例子（我不会深入细节）。这是一个逆向工程特定操作的例子：当你在Python中定义一个函数时，你可以为该函数的文档提供一些参数，当你预置这个参数变量时，你希望模型预测下一个标记应该是“files”。他们逆向工程了执行该操作的注意力头算法，发现了一个在预Transformer模型或模型注意力中的电路。这个电路包括跨不同层的三个级别的组合，包括一个在提示的不同部分做不同事情的注意力头。
但我想在这里指出的是，这种组合方式可以实现本质上更抽象的角色与某些填充物之间的绑定。他们发现的算法类似于“预测定义中出现的参数，该参数在前一个文档行中见过”。它正在以这种方式移动信息。
这是另一个真实世界的例子，使用一个实际在上下文上训练的模型（GPT-2 small），这是识别间接宾语的电路逆向工程。如果你有句子“When Mary and John went to the store, John gave a drink to”，你希望模型预测“Mary”，以确定正确的间接宾语应该是什么。这里有一些工作展示了这是如何工作的。当然，当你看到这样的东西时，很容易觉得像是在广泛推测和解读茶叶，但这不仅仅是解读茶叶。实际上，你可以使用各种方法（如激活修补等）对这些电路的不同部分进行消融和因果干预，以验证你的假设。
深度神经网络是否实现了经典架构？
上一节我们深入探讨了Transformer内部的机制。本节中，我们回到最初的问题：具有这种结构的深度神经网络是否实现了经典架构？
根据Fodor的定义，实现要求高级描述为系统的行为提供精确的算法描述。如果你按照这样的定义，我认为不能说这里实现了类似经典架构的东西。
存在一种成分结构的形式，但它不是连接性的，不是经典意义上的。存在一种我倾向于称之为“模糊可变绑定”的东西，即填充物到角色（如句法角色）的渐变和概率性绑定，而不是严格的代数可变绑定。这也是我想在Nick的演讲基础上补充的：我认为内容特定和非内容特定计算之间的区别是程度性的。我们在这些模型中观察到的是，根据提示的偏差方面，你可以处于更内容特定的转换机制或非内容特定的机制中。
你在这里也有角色-填充物独立性的影子，但这也是渐变和概率性的。你有这些子空间，在极限情况下，当它们真正不相交时，会给你更多的角色和填充物之间的独立性；当它们部分重叠时，会产生干扰，并非完全分离。
我想用一个我认为在模型实际行为中能很好说明这一点的例子来结束。我使用GPT-4，并要求它表现得像一个Python解释器，只给我像Python shell那样的输出。我首先定义了一个带有一堆变量的函数，它按预期行为，像Python解释器那样重复该函数。然后我定义了另一个函数，实际上是返回斐波那契数列中的第n个数，但我用一种稍微复杂的方式来表述它，使其不那么容易识别它在做什么。它再次做到了。然后我要求它用三个不同的输入组合这两个函数，输出是正确的。我认为这是高度非平凡的。
你可以要求它解释答案，然后它会分解操作的不同部分，将变量绑定到值。但同样，你可以在没有这种分解的情况下进行零样本操作。这就是为什么我试图反驳它们只能在输出中进行非内容特定计算的观点。这也不仅仅是记忆，如果你要求它为“memory”做这件事，它会给出错误的答案，对于这个操作的第二部分给出了错误的答案。
正如Nick提到的，我认为经典架构的组合性有一些好处。但这里的区别是，我更倾向于认为这里存在某种形式的非内容特定计算，而不仅仅是在输出中完成。我认为其好处在于：
-
非正式领域的灵活性：离散的网格结构和代数规则通常过于僵化，无法很好地拟合数据。
-
可处理性：我们对计算复杂性爆炸有更多关注。
-
这种计算的通用性和涌现性：我没有讨论这一点，但关于grokking有非常有趣的工作，表明在模型训练过程中，存在从记忆到类似规则的通用计算的转变。我可以在问答环节回到这一点。
结论与开放问题
本节课中，我们一起学习了深度神经网络中的组合性。我们探讨了组合性的定义、评估神经网络组合性行为的方法，以及解释其内部机制的多种途径。
总结来说，我认为深度神经网络如果具有正确的特征，可以被赋予组合性行为和泛化的资源。这是一种功能性组合性，而非连接性组合性，不涉及离散的成分结构。
放弃那种严格代数约束的结构可以带来一些好处。这提供了一种机制，似乎能以不同程度的精度近似可变绑定，当然也有一个上限，限制了你可以用此做什么。
还有许多开放问题：
-
注意力机制在架构中真的特殊吗？
-
你是否需要将这种模型与其他东西（包括逻辑引擎）结合起来，才能真正在计算泛化方面表现得和人类一样好？
-
从这类研究中，我们可以为认知科学汲取哪些见解？
我已经讲得太久了，就到这里。谢谢。
本节课总结：在本节课中，我们一起学习了组合性在深度神经网络中的体现。我们从组合性的定义出发，探讨了神经网络在概念组合和句法泛化任务上的表现。通过介绍探测、张量积近似、树状结构分析和机制可解释性等方法，我们深入了解了神经网络内部可能实现组合性计算的机制。最后，我们讨论了这是否意味着神经网络实现了经典的“思维语言”架构，并得出结论：神经网络通过一种功能性的、非连接性的、基于模糊可变绑定的方式实现了组合性，这为其带来了灵活性和可处理性等优势，同时也留下了许多有待探索的开放问题。
008：发展神经系统理解
概述
在本节课中，我们将探讨如何发展一个统一的“神经系统理解”领域。我们将回顾神经科学中分析复杂神经系统的常用方法，并论证将这些方法应用于人工神经网络进行验证和测试的必要性。核心目标是建立一个能够指导分析真实与人工神经系统的通用工具、概念和框架。
神经科学的分析方法
上一节我们介绍了课程背景，本节中我们来看看神经科学领域是如何分析神经系统的。神经科学已有超过百年的历史，其核心目标是理解神经系统如何产生行为。一个典型的例子是2014年一篇关于运动皮层的研究论文。
该研究的目标是观察在不同伸手条件下，运动皮层的活动如何变化。实验对象是一只经过训练的猕猴，它需要将手臂伸向不同方向。实验的基本流程是：猴子将手臂保持在中心位置，然后获得一个目标位置提示，接着经过一段延迟，最后获得“开始”信号以执行动作。还有一种变体是，在延迟后，目标位置可能发生改变，猴子需要重新准备并执行新的动作。
研究人员在实验过程中记录了运动皮层神经元的电活动。他们获得了单个神经元在整个实验过程中的响应数据，通常以神经元每秒发放的动作电位数量（即发放率）来表示。
神经科学家们花费了数十年时间，通过观察神经元对不同刺激或动物行为的响应图，试图理解神经元在做什么。他们尝试对神经元进行分类，并理解大脑如何处理输入或产生输出。
从单神经元到群体分析
然而，仅通过观察大量单个神经元随时间变化的活动来得出有用结论是相当困难的。近年来，随着记录神经元数量的技术提升，神经科学领域已转向使用降维方法来分析神经活动。
在上述研究中，研究人员对全部神经元的群体活动进行了主成分分析。这样，他们可以将成百上千维的神经活动空间，简化为三维空间进行可视化。
以下是该研究的主要发现：
-
在正常试验中，神经活动会从基线状态移动到与特定运动方向相关的“准备状态”，并在那里停留，直到“开始”信号出现，然后执行与运动相关的动态模式。
-
在目标切换试验中，如果“开始”信号与第二个目标提示同时出现，神经活动会完全跳过与第二个运动相关的准备状态，直接执行运动。
这项研究更新了人们对运动皮层动力学的理解模型。研究人员提出，运动皮层可能包含两个不同的动力学子系统：一个负责准备，一个负责运动生成，并且运动生成可以在没有准备系统的情况下发生。
此外，研究还发现了一个有趣的现象：即使实验者同时给出目标信息和“开始”信号，运动皮层的神经活动显示这两种信息并非同时出现。研究人员推测，可能存在另一个系统在监控运动皮层的活动，并选择恰当时机发出“开始”指令。
这个例子代表了神经科学论文中的常见模式：处理高维动态数据，使用降维等方法进行分析，根据结果构建或更新关于系统如何工作的“故事”，有时还需要借助实验未涉及的外部因素来解释某些现象。
什么是“理解”？
上一节我们看到了神经科学的分析方法，本节中我们来探讨一下，我们所说的“理解”一个神经系统究竟意味着什么。从神经科学的角度，我们常常借助马尔层级来思考这个问题。
-
计算层级：定义系统的目标，即系统试图做什么。例如，运动皮层的目标是产生伸手动作。
-
算法层级：实现目标所需的步骤或过程。这是一个简化的、有损的故事模型，但应具备一定的预测能力。
-
实现层级：执行算法的物理实体，例如特定的神经元和脑区。
神经科学，尤其是系统神经科学，主要追求的是算法层级的理解。这种理解应该是一个有效且准确的模型，意味着你能够用它来做一些事情。
为了更具体地定义“理解”，我们引入 “实验验证的理解” 这一概念。其核心思想是：
-
对一个复杂神经系统应用某种分析方法，得到一个简化的理解（算法模型）。
-
基于这个简化理解，设计一个后续实验。
-
该实验的结果应能验证你的理解，特别是要能够基于对系统的理解来控制其行为。
例如，如果我们理解了运动皮层的活动如何编码伸手方向，我们就应该能够通过调制运动皮层的活动来改变伸手的动态。
为何需要人工神经网络？
你可能会问，控制行为就等同于理解吗？虽然训练一个大型神经网络来控制一个系统本身不代表理解，但“实验验证的理解”要求有一个“人类在环”的步骤：人类需要提出简化的故事并设计实验。这形成了一个压缩瓶颈，确保了理解不仅仅是黑箱控制。
然而，在真实的神经科学中，进行这种精确的、闭环的实验验证非常困难，因为技术限制使我们无法对大脑进行精细、可控的扰动。
因此，我们主张在人工神经网络上大规模测试神经科学的工具。具体计划如下：
-
选取一种神经科学分析方法。
-
将其应用于一系列不同架构、不同任务、不同训练方式的人工神经网络。
-
基于分析方法得出的简化理解，设计实验来尝试控制该网络。
-
通过在不同网络上重复此过程，评估该工具是否可靠地提供了我们期望的理解。
人工神经网络是进行此类测试的理想平台，原因如下：
-
完全可扰动：你可以进行几乎任何实验（改变神经元活动、连接、训练过程、输入数据等），没有技术限制。
-
完全可观测：所有数据都在模型中，如果无法解释，问题在于分析方法本身，而非数据缺失。
-
答案未知：与使用已知答案的模拟数据测试不同，我们对人工神经网络的算法层级理解尚不充分，这迫使我们必须明确定义“成功”的标准，避免了先验知识的干扰。
构建统一的领域
上一节我们论证了在人工神经网络上测试神经科学工具的价值，本节我们来看看如何构建一个统一的“神经系统理解”领域。这不仅仅是单向的测试。
首先，我们不仅应该验证来自神经科学的方法，也应该验证来自可解释人工智能的方法。许多可解释AI方法（如某些非线性探针）本身就包含了控制验证的思想，但并非全部。所有方法都需要通过相同的“实验验证”程序进行检验。
其次，为了真正统一领域，我们可能需要改造一些可解释AI的方法，使其能够应用于约束更多、更困难的神经数据。
最终，通过长期进行这种联合研究，我们有望识别出描述这些系统的共同主题、概念和词汇，这是我们目前所缺乏的。
需要明确的是，这项工作：
-
不要求对“人工神经网络是否是大脑的模型”做出特定断言。
-
不假定所有神经系统都应使用相同的工具，而是旨在识别特定工具在何种情况下有效。
-
不意味着能解答神经科学和AI中的所有问题（例如离子通道层面），而是针对算法层级的问题。
面临的挑战与未来方向
推动神经科学与可解释AI更紧密地结合，面临着概念上的挑战。我们目前缺乏描述高维、非线性、循环、分层、分布式神经系统的有效词汇表。
真正的理解需要压缩和抽象。数学史上，曾经只有顶尖学者能掌握的概念，如今已成为高中课程，并作为构建更复杂知识的基础。同样，我们需要为神经系统的算法开发新的抽象单元（例如，我们现在可以轻松地用“Transformer”这个模块来指代一个复杂结构）。目前，我们还没有这样的词汇表，这阻碍了进展。
有些人认为，理解神经网络的唯一方式就是了解其架构、目标函数、训练算法和训练数据，除此之外无法进行有意义的压缩。我们对此持乐观的反对态度。理论上，压缩是可能的；实践上，机器学习领域已有工作致力于压缩训练好的网络（如模型蒸馏）或提取其生成规则，这些都可以为我们如何理解系统提供灵感。
总结
本节课中我们一起学习了如何发展一个统一的“神经系统理解”领域。我们回顾了神经科学分析方法的实例，定义了“实验验证的理解”作为目标，并论证了在完全可观测、可扰动的人工神经网络上大规模测试这些工具的必要性。构建这一领域需要神经科学与可解释AI双向奔赴，共同验证方法、开发新工具，并最终建立描述复杂神经系统的共享概念框架。尽管面临定义抽象层级和开发新词汇的挑战，但这一努力对于深化我们对智能系统如何工作的理解至关重要。
009：大型语言模型的语言与认知能力
在本节课中，我们将探讨大型语言模型（LLMs）在语言处理和认知能力方面的表现。我们将分析其“形式语言能力”与“功能语言能力”的区别，并讨论模型是否具备真正的“理解”或“交流意图”。通过结合神经科学、哲学和人工智能的视角，我们将梳理当前关于LLMs能力的核心辩论与见解。
形式与功能语言能力：来自神经科学的启示
上一节我们介绍了课程的整体框架，本节中我们来看看如何借鉴人类大脑的结构来理解LLMs的能力。来自MIT的Anna Ivanova提出，我们可以将语言能力区分为“形式语言能力”和“功能语言能力”。
-
形式语言能力：指对语言本身规则和模式的知识，例如句法、词法和语法。在人类大脑中，这主要由一个独立的“语言网络”处理。
-
功能语言能力：指在现实世界中使用语言所需的、非语言特定的技能，如数学推理、社会推理和世界知识。这些能力依赖于大脑中其他专门网络。
这种区分有坚实的神经科学基础。大脑的语言网络对各类语言处理（听、说、读、写）反应强烈，但对数学、逻辑推理等非语言任务反应微弱。此外，大脑语言网络受损的病人可能丧失语言能力，但其他认知功能（如推理）却可能保持完好。
那么，大型语言模型在这两方面的表现如何呢？
以下是评估LLMs能力的一些核心发现：
-
形式语言能力：以GPT系列为代表的现代LLMs在语法判断、长距离依赖（如主谓一致）等任务上表现优异，已接近人类水平。这表明它们在掌握语言的形式规则方面非常出色。
-
功能语言能力：LLMs在需要多步骤的正式推理（如数学运算）和稳健、系统化的世界知识方面仍然存在明显缺陷。它们的知识可能是脆弱、有偏见和不完整的，容易受到提示词或对话上下文的影响。
这种区分提示我们，在构建和评估未来的语言模型时，可能需要采用更模块化的架构（类似人脑），并设计更有针对性的评测基准，分别检验其形式和功能能力。
语言模型是否缺乏交流意图？
上一节我们讨论了LLMs在能力上的分化，本节中我们转向一个更根本的哲学问题：LLMs是否具备“交流意图”？匹兹堡大学的Nuhu Osman Atta对此进行了分析。
许多批评者认为，LLMs（尤其是基于Transformer的模型）缺乏真正的交流意图，因为它们的内在机制（如下一个词预测）从根本上就不适合编码意图。然而，这个论点面临几个挑战。
首先，即使在人类认知科学中，“交流意图”的心理现实性也存在争议。它可能更像是一个解释社会行为的边界条件，而非一个具体的、可定位的内在表征机制。
其次，在更早的、面向任务的对话系统中，研究者曾明确设计模块来表征用户的可能行动意图（如订餐、查询评分）。虽然现代Transformer模型没有这样的显式模块，但通过适当的“探针”分析，我们能在其表征中发现对句法、语义、共指等特征的敏感性。这表明，仅通过检查模型架构就断言其“无法”具备某种功能是草率的。
最后，序列预测本身在人类语言处理中扮演着重要角色（例如，N400脑电波成分与词汇预测概率相关）。因此，将基于序列预测的模型完全排除在“可能具备交流意图”的范畴之外，理由并不充分。
总之，关于LLMs是否具有交流意图的许多否定性论证是薄弱的。与其纠缠于此，不如转向更具体的社会技术问题，例如：在何种社会情境下，我们会倾向于将意图赋予机器？模型的训练过程（如基于人类反馈的强化学习）是否引入了类似人类学习意图的对话语境？
功能、内容与理解：一个语义学视角
上一节我们探讨了意图问题，本节我们从内容与功能的关系入手，分析LLMs的“理解”问题。牛津大学的Patrick Butlin回顾并修正了他之前提出的“功能论证”。
“功能论证”的核心思想源于目的论语义学：一个表征要具有特定的内容（如“火山会喷发”），它必须具有携带该信息的功能。而一个系统只有在其任务涉及相关环境（人类世界）时，才会利用关于该环境的信息。由于传统LLMs的核心任务是“下一个词预测”——一个纯粹的语言学任务——因此其内部状态的功能是携带关于语言的信息，而非关于世界的信息，故其无法理解关于世界的陈述。
然而，这个论证面临两个主要反驳：
-
微调改变了任务：现代LLMs经常针对特定任务（如正确回答事实性问题）进行微调。这时的任务目标就与世界事实相关了，而不仅仅是语言模式。
-
世界知识有助于语言任务：即使在执行下一个词预测时，关于世界的知识（例如人们通常相信什么）对于生成看似合理的文本也是极其有用的。因此，LLMs的内部状态很可能同时携带关于语言和关于世界的信息。
这就引出了一个根本的“不确定性”问题：当一个系统状态携带了多种相关信息（如“塔林是爱沙尼亚首都”和“Tallinn是What's the capital of Estonia?的常见后续”），且这些信息都能用于解释系统行为时，我们很难确定究竟是哪种信息内容在起作用。因此，仅凭宽泛的哲学原则（如功能论证）难以断定LLMs是否理解，需要更细致的表征内容分析。
大型语言模型带给我们的四点启示
最后，我们来看看LLMs的研究如何反过来启发我们关于“理解”本身的哲学思考。日内瓦大学的Philippe Verraes提出了四点启示。
启示一：理解是有程度的
关于LLMs是否理解的争论常常是非此即彼的。但哲学上普遍认为理解是有程度之分的（从初步理解到深入理解）。LLMs在各种评测指标上展现的渐进式进步，正体现了这种“程度性”。这促使我们思考：理解的门槛是什么？如何评估理解的程度？
启示二：把握（Grasping）至关重要
许多哲学理论认为，“理解”需要一种“把握”关系，即认知主体以某种方式掌握解释或信息。LLMs能够对复杂理论（如进化论）进行看似合理的解释，这迫使我们澄清“把握”的本质：它纯粹是推理性的，还是需要现象性意识（如感受质）？如果后者是必要的，那么当前的LLMs就无法真正理解。
启示三：推理能力是核心但非全部
哲学家列举的理解所需能力（如反事实推理、表征操控、认知控制）大多是推理性的。LLMs在这些方面正变得越来越强。然而，AI研究也提示我们，其他能力（如抽象、类比）可能同样重要，而哲学对此关注相对较少。
启示四：理解可能与虚假或不正当信念不相容
有些哲学观点认为理解可以是“非事实性的”（基于错误模型）或无需确证。然而，LLMs作为“随机鹦鹉”，可能输出虚假或无确证的内容。如果它们基于这些内容运作，还能算理解吗？这促使我们反思：可靠的知识来源和真相对理解是否不可或缺？这对于确保AI伦理也至关重要。
总结
本节课中，我们一起学习了关于大型语言模型语言与认知能力的多维度探讨。我们区分了形式语言能力与功能语言能力，并看到LLMs在前者上表现卓越，在后者上仍有不足。我们审视了关于LLMs缺乏交流意图的论点，发现其论证基础并不牢固。我们分析了从功能推导内容进而判断理解的复杂性，指出了其中的不确定性。最后，我们从LLMs的研究中获得了关于“理解”本质的哲学启示，包括其程度性、对“把握”的依赖、对推理及其他能力的需要，以及与真理和确证的可能关联。这些讨论凸显了跨学科合作对于深入理解人工智能和人类智能本质的重要性。
DAMO开发者矩阵，由阿里巴巴达摩院和中国互联网协会联合发起，致力于探讨最前沿的技术趋势与应用成果，搭建高质量的交流与分享平台，推动技术创新与产业应用链接，围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐
0
0- 0
已为社区贡献318条内容
所有评论(0)