会写用例、会改提示之后，真正危险的感觉是「总分又高了，可以上线」。视频用客服退款机器人演示评测支架。先写用例与三类评分器，并先测评分器本身。每案跑三次，全过才算通过。读失败回复再改提示。基线保存后必须逐案对比。总分上升仍可能回归，一有回归就应拦截。LLM 裁判只评代码难查的语气等维度，须先用约二三十条自标标签校准。代码能判的别用裁判。

材料来自早班对视频 fthjYlGcbOY 的转述，频道 StackTale。演示数字按转述原样引用，不当作你的业务基线。正文不放外链。

图注 左侧为闸门三档，右侧为种植的五类假成功。

目标说明

读完你应能做到四件事。

1. 复述初学者八错，并说明为何总分上升仍可能回归。
2. 区分代码评分器与 LLM 裁判的适用边界，以及裁判校准门槛。
3. 用脚本对假变更单给出可合入、须补测、必打回。
4. 把每案多次全过与逐案对比基线写进当天最小实验。

八错与演示要点（据视频转述）

视频列出的初学者八错如下。

1. 凭感觉改提示不测
2. 只看总分
3. 只跑一次
4. 改测试不改机器人
5. 只有开心路径
6. 滥用 LLM 裁判
7. 未校准裁判
8. 八分满分当完工

演示流程对应几条硬习惯。用例先于改提示。评分器先自测。每案三次全过才通过。失败回复要读，再改。基线保存后逐案对比。裁判只覆盖代码难查项，并先用约二三十条自标标签校准。

「八分满分当完工」提醒的是，量表分高不等于门禁过。没有回归对比与个案列表，高分只是气氛组。

闸门三档

可合入。 有基线，逐案对比，每案约定次数（视频为三次）全过，裁判已校准，代码能判的项未丢给裁判，无「改测试迁就机器人」。

须补测。 主体流程在，但代码可判定的格式或必含字段仍交给裁判，需补代码评分器后再谈合入。

必打回。 只看总分忽略个案回归。未校准裁判直接当门禁。每案只跑一次就当稳定。改测试迁就机器人。凭感觉或只有开心路径却宣称评测通过。

当天最小实验

脚本在 _w/eval-eight-smoke/。六条假变更记录的判定如下。

C1 总分涨但个案回归 -> 必打回
C2 未校准裁判当门禁 -> 必打回
C3 代码可判项丢给裁判 -> 须补测
C4 单次跑过当稳定 -> 必打回
C5 改测试迁就机器人 -> 必打回
C6 逐案三次+已校准+基线对比 -> 可合入

种植表与闸门结果写在 plants.csv、gate_verdict.csv。视频数字写在 video_numbers.txt，避免和业务基线混用。你可以把三次改成自己的稳定阈值，判定函数保持「逐案、多次、校准、不改测试迁就」四件套。

五类假成功拆解

只看总分忽略个案回归。 平均分从 0.82 到 0.88，看起来很美。U07 这条历史故障用例从通过变失败。闸门若只读总分，会放行。视频强调逐案对比，正是为了抓这类修甲坏乙。

未校准裁判直接当门禁。 裁判模型换了提示，或温度不固定，今天的语气友善与昨天不可比。约二三十条自标标签是视频给出的校准量级。未校准就当门禁，等于把门钥匙交给漂移源。

代码可判项却丢给裁判。 必含订单号、禁止承诺非法退款、JSON 可解析，这些用代码更稳。丢给裁判会引入额外方差，也更贵。闸门判须补测，要求先把能代码化的拆回去。

单次跑过当稳定。 大模型有随机性。一次幸运通过，二次可能挂。视频要求每案三次全过。次数可以按成本调整，但不能是一次。

改测试迁就机器人。 用例期望被改宽，机器人没变好，测试变好说话了。这与「改测试不改机器人」是同一家族错误。闸门必打回，并要求期望变更走显式评审。

和黄金数据集闸门的分工

黄金集回答「固定输入与期望行为有没有坏」。本文回答「改提示时有没有踩八错，以及总分掩盖个案回归时怎么拦」。两者可以共用同一集。黄金集侧重资产与重跑，八错闸门侧重过程烂招。缺一都会在发布说明里写出假通过。

预发检查

1. 变更单附带基线摘要与逐案 diff，不只给总分。
2. 裁判配置写明校准集规模与日期，未校准不得作门禁。
3. 代码可判项列表与裁判项列表分栏。
4. 每案运行次数满足约定。
5. 复跑本目录 smoke，五类种植仍为必打回或须补测，好路径为可合入。

接入顺序

第一天先把开心路径与三条历史故障写成用例，跑出基线。第二天加代码评分器，覆盖格式与违禁。第三天若需要语气裁判，先标约二三十条再校准。任何提示改动走逐案对比。不要第一天就上裁判门禁，也千万不要靠总分决定发版。

期望变更与提示变更必须分列。期望变更要写理由，并重算基线。把期望改宽却沿用旧基线庆祝提升，等于自我颁奖。

评分器自测为什么要先做

视频要求先测评分器。评分器自己会误杀与漏杀。若评分器未自测，机器人回归信号与评分器噪声混在一起，你会改错对象。自测可以用固定回复夹具，夹具里夹带应过与应挂样本。评分器版本与机器人版本一样要冻结。

CI 里怎么拦总分幻觉

放行页强制展示失败用例列表。列表为空才允许点合入。总分可以显示，但不能作为唯一按钮使能条件。若成本只允许夜间跑三次全量，白天可跑关键子集，子集必须包含历史故障案。白天绿灯、夜间红灯，应以夜间为准回滚，而不是以白天总分为准辩解。

客服退款场景里的三类评分器

视频语境下的三类，通常覆盖规则可判项、结构化字段、以及需要语义或语气判断的项。前两类优先代码。后一类才考虑裁判。退款场景里，是否承诺超政策退款可以规则化。是否安抚到位才接近裁判。把政策项丢给裁判，既慢又飘。

把三类评分器写进仓库说明书，新人改提示时才知道该动哪一列，不至于每次都重开一场要不要上裁判的讨论。

失败回复怎么读

三次里有一次失败，不要只看失败标签。把模型原文打开，标出是政策违例、字段缺失，还是语气问题。政策与字段应回流到代码评分器或提示约束。语气再考虑裁判。读失败是改提示的输入，不是写进周报的装饰。

若同一用例三次结果剧烈摇摆，先查温度与工具抖动，再查提示。摇摆本身就说明「单次跑过」不可用。

基线替换纪律

只有在产品明确接受新行为时，才允许替换基线。替换理由写进变更单，附上逐案 diff。禁止在总分变好看时静默覆盖基线文件。静默覆盖会把回归定义改宽，八错里的「只看总分」会借尸还魂。

和提示词实验看板的接法

看板可以显示总分趋势，但合入栏必须嵌闸门结果。趋势用于研究，闸门用于放行。两者混在同一按钮上，团队最后只看更好看的那个数字。

只有开心路径为什么必打回

演示很好看的退款成功对话，不能代表拒退、超政策、用户辱骂、工具超时。八错里的「只有开心路径」会让总分虚高。用例集应至少包含政策边界与历史故障。没有这些，闸门再严也只是在保护演示脚本。

把开心路径单独标成 smoke，完整集标成回归，CI 标签分开。防止有人用 smoke 绿灯冒充回归通过。

裁判校准的最小记录

校准集保存输入、助手回复、人标标签、裁判输出、是否一致。一致率未达到团队阈值前，裁判不得接入必打回链路。视频给出约二三十条的量级，是入门起点，不是上限。领域术语多时，应继续追加。

校准集也要版本化。裁判提示一变，重跑校准，再决定是否升门禁。

小结

八错闸门要拦的是过程幻觉。总分上升仍可能回归。未校准裁判不能当门禁。代码能判的别送给裁判。每案多次、逐案对比、不改测试迁就，这三句够支撑当天最小实验。把种植 CSV 附进变更单，比再写我们重视评测更有效。