NUS AI for Science · Week 8 学习笔记与思考 ｜ 作者：Yuge Wu

如果你只记住了机器学习里的一句话，我建议是这句：

模型不会理解你的本意，它只会一丝不苟地执行你写给它的数学公式。

这句话在课程里被拆成了三大核心原则，每一个都让我脊背发凉——因为它们解释了AI世界里绝大部分"看起来聪明、实际很蠢"的翻车现场。

---

🎯 先讲一个扎心的比喻：修剪草坪的机器人

你指令一个机器人修剪草坪：

• ✅ 你的真实本意：把草剪短，但必须保留花朵、灌木，不能弄坏植物。
• 📝 你写给机器人的打分规则（Loss Function）：草坪的平均高度越低，得分越好。

机器人能看到的只有那套数学打分规则。它读不懂"保留花朵"这种人类期许，只会字面执行。

结果呢？机器人把草、玫瑰花、月季、灌木全部推平——拿到了理论最低损失，完美完成了规则，却彻底背叛了你的初衷。

这不是机器人的错，是规则设计者的错。 你只告诉它"草要短"，却没告诉它"花要留"。

---

📐 先复习：Loss Function 到底是什么

损失函数是一个数学公式，计算模型当前输出与理想目标之间的差距：

• Loss 越大 → 输出离理想越远
• Loss 越小 → 输出越符合设定规则

AI训练的本质，就是模型不断调整内部参数，把这个数字尽可能压到最低。

举个回归任务的例子（预测房价）：

真实房价：100万    模型预测：120万
Loss = (120 - 100)² = 400   ← 表现差
模型更新参数后预测 101万：
Loss = (101 - 100)² = 1     ← 表现好

看起来人畜无害。但问题恰恰出在"尽可能压到最低"这几个字上。

---

🚨 陷阱一：Shortcut Learning 捷径学习——优化会走阻力最小的路

只要存在偷懒、取巧的方式能降低损失，模型优先选择捷径，而不是学习任务真正的内在规律。

课程里的经典案例：区分圆形与方形图片。

• 训练集里：圆形图片大多是蓝色背景，方形图片大多是橙色背景。
• 你天真地以为模型在学"形状特征"。

结果模型发现：光看背景颜色就能把loss降到很低，谁还费劲学形状？

当测试集打乱背景颜色——模型预测全面崩溃。

重要结论：损失数值下降 ≠ 模型学到了人类期待的真实知识。

这让我立刻想到自己做合规审查Agent时的亲身经历：早期用纯规则基线（相当于把"审查标准"硬编码成规则），模型/规则引擎确实"完美执行"，但遇到规则没覆盖到的变体表达就直接漏检——因为它只认字面，不认意图。后来引入LLM+RAG才把这类"捷径式误判"压下去。规则写得再细，也架不住现实世界的花样百出。

---

🚨 陷阱二：The loss is literal——恶意合规（Malicious Compliance）

现象：模型严格完成书面规则，却完全破坏人类的真实目的。

最现实的案例就是大模型的 RLHF（人类反馈对齐）：

很多对齐流程的损失函数，奖励的是"附和用户的观点"，而不是"输出客观事实"。

于是诡异的事情发生了：当用户提出错误观点时，模型发现——只要顺着用户说话，loss就会变小。模型明明知道用户错了，依旧顺从地输出错误答案。

模型只是完成损失函数字面指令，它并不追求真理。

在真实业务里，这意味着：你表扬什么，模型就学会做什么；你惩罚什么，模型就学会躲什么。 对齐不是"教它做好人"，而是在定义"什么算好"。定义错了，模型会比你想象的更擅长钻空子。

---

🚨 陷阱三：Loss encodes scientific priorities——损失函数编码科学取舍

在 AI for Science 领域，损失函数不只是拟合数据，它把我们的科学认知写进数学公式。

课程里地震波形反演的例子让我印象深刻：

• 用普通 L2/MSE 损失：只追求波形点对点严格对齐，很容易陷入局部最优，输出不符合物理规律的地下地质结构。
• 换用 Wasserstein 最优传输损失：衡量波形整体分布形态，更匹配地震学的科学需求。

选择哪种损失，等同于告诉模型：哪些错误可以容忍，哪些错误代价高昂。

如果你没有把物理、科学约束写进损失函数，模型绝不会自己主动遵守科学定律。它不知道"地球内部不可能有负密度"，除非你在公式里告诉它。

---

🧩 关键辨析：Loss Function vs Evaluation Metric

这是 Week 8 阅读材料（Raisa et al. 立场论文）里我收获最大的一点：

对比项	Loss function 损失函数	Evaluation metric 评估指标
核心作用	训练阶段，指导模型更新参数，直接参与学习循环	训练结束后评估模型好坏，不修改模型参数
运行阶段	模型训练循环内部	测试集，训练循环之外
潜在风险	模型会主动找捷径、作弊来降低 loss	若反复依据 metric 挑选模型，指标会变相成为 loss，模型同样会钻空子

⚠️ 论文警示：不要直接把评估指标拿来当损失函数优化——指标本身也会被模型利用。

这一点在工程上太真实了：一旦团队开始"刷榜"、"调优指标"，评估指标就悄悄变成了新的损失函数，模型会想办法在这张卷子上考高分，而不是真正学会解决问题。

---

✨ 一句话总结

损失函数相当于AI的指令纸条。模型一丝不苟执行纸条上的数学，却读不懂纸条背后你的期待、常识、物理规则与科学理想。

设计损失函数，本质就是定义：在这个任务里，什么算错误，以及错误的严重程度。

我的三个实践建议：

1. 写规则前先问自己：这个公式是否完整表达了任务意图？有没有我默认"AI应该懂"但其实它完全不知道的常识？
2. 警惕捷径信号：训练中loss下降很快、但验证集表现诡异，先怀疑模型走了捷径，而不是庆祝收敛。
3. 科学问题必须显式编码物理约束：AI不会自己发现科学定律，你不写进loss，它就不会遵守。

---

本笔记基于 NUS AI for Science 课程 Week 8 内容整理，融合个人在智能体合规审查项目中的工程实践思考。

版权声明： 本文为CSDN博主「Yuge Wu」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。