如果把传统机器学习的可复现性理解为“换台机器也能跑出差不多的结果”，那么大语言模型（LLM）时代的可复现性，已经变成另一个问题：

你连“同一个模型、同一个 prompt、seed 固定、temperature=0”都未必能复现。

这对医工交叉研究尤其刺耳。临床决策支持、医学文献抽取、影像报告生成、电子病历编码、手术机器人指令理解——这些场景里，模型不是写诗工具，而是证据生产装置。如果结果不可复现，它就很难从“演示”走向“证据”。

---

一、为什么 LLM 的“可复现”比想象中难

过去我们以为：开源权重 + 公开代码 + 固定随机种子 = 可复现。

但 LLM 推理并不是一条干净的函数：

\text{output}=f(\text{prompt},\text{weights},\text{decode},\text{hardware},\text{kernel},\text{batch},\text{precision},\text{serving})

哪怕前两项相同，后面任意一项变了，输出都可能漂移。

典型非确定性来源有五类：

1. 采样随机性：temperature、top_p、top_k 打开后，输出本来就是分布抽样。

2. 浮点非结合性：(a+b)+c \neq a+(b+c)。BF16/FP16 下，GPU 数量、batch size、tensor parallel 改变归约顺序，logits 末尾几位就会变。

3. 服务系统状态：在线 API 可能静默换后端；同一模型名背后可能是不同 checkpoint、不同调度器。

4. MoE 路由与批处理：专家模型里，一个 token 被分到哪个专家，会受到同批其他请求影响。

5. 评估链路随机性：prompt 模板、chat template、评判模型、答案抽取正则、RAG 检索快照——任何一层没冻结，分数都会动。

有研究在 BF16 + greedy decoding 下测试推理模型，GPU 类型、卡数、batch size 一变，DeepSeek-R1-Distill-Qwen-7B 的准确率可波动约 9%，回答长度差出近 9000 个 token。 另一项托管 API 实验里，temperature=0、seed 固定，仍出现最高 15 个百分点的准确率差异。

换句话说：“看起来确定”不等于“计算上确定”。

---

二、医工场景里，不可复现会变成什么后果

在医学 AI 里，可复现性不是哲学洁癖，而是监管与循证的前置条件。

• 文献综述：LLM 给 100 篇摘要打“是否纳入 Meta 分析”，隔一天重跑，纳入集变了，结论可能反转。

• 报告生成：同一张 CT 报告，两次生成用词不同，医生若按“模型说高度可疑”做决策，就会受随机性干扰。

• 数据集标注：用 GPT/Claude/Gemini 标训练集，再训小模型；如果标注本身不可复现，小模型继承的是“模型噪声”而非“专家知识”。

• 临床试验辅助：入排标准判定、不良事件抽取、终点分类，若结果不能被审评方重跑验证，就很难作为监管证据。

医工学人一直关注“工程可落地、临床可验证”。LLM 进来之后，第一条铁律应是：

凡是要进入临床证据链的 LLM 输出，必须像设备校准记录一样被归档。

---

三、“可复现”其实有四个层次

很多争论源于把可复现说成了一件事。更合理的框架是四层：

1. Bitwise 可复现：张量字节级一致。最严格，通常要同硬件、同库、同精度、同批设置。

2. 字符串可复现：返回文本完全一致。对聊天应用有用，但对答案抽取不一定关键。

3. 答案级可复现：JSON 字段、ICD 编码、是否阳性、A/B 选项一致。医工任务最常关心这一层。

4. 统计可复现：多次抽样后均值、方差、置信区间在可接受范围内。适合 LLM-as-judge、患者问答、真实世界模拟。

对医学论文来说，答案级可复现是底线，统计可复现是方法学要求，bitwise 可复现是工程奢侈品。

---

四、开源权重也不是“免死金牌”

很多人说：用 Llama / Qwen / Gemma 本地部署就可复现了。

半对。

本地开放权重确实去掉了“厂商静默更新”这一层，但你仍要冻结：

• 推理框架：vLLM / Hugging Face Transformers / TensorRT-LLM / Ollama

• 数值精度：BF16 / FP16 / FP32 / INT8 / GPTQ / AWQ

• 采样参数：temperature、top_p、top_k、repetition_penalty、seed

• chat template 与 system prompt

• max_tokens、stop strings、tool schema

• GPU 型号、驱动、CUDA、NCCL、tensor parallel size

• 是否开 continuous batching、prefix cache、speculative decoding

有论文审计 55 篇 LLM pipeline 论文（2022–2025），发现 75% 未报告随机性控制，61% 缺少中间执行轨迹。 也就是说，很多“SOTA”其实带着未登记的自由度。

---

五、大语言模型时代，该怎样做“可复现的医工研究”

给医工交叉研究者一套可落地的清单：

1. 把模型当成“仪器”，不是“作者”

论文方法学里应写：

我们使用 qwen2.5-7b-instruct，commit / checksum xxx，vLLM 0.6.x，tensor_parallel=1，dtype=BF16，temperature=0，seed=42，chat template 见仓库，查询日期 2026-03-12。

而不是：“我们用 Qwen 测试了 100 份病历。”

2. 存原始输出，不只存结论

所有 prompt → raw output → parsed answer 存成不可变副本。

审稿人不能调模型时，至少能重跑你的解析代码。

3. 多次抽取 + 报告方差

小样本医学基准（如 30–40 题的 AIME/MEDQA 子集）方差极大。

应报 mean ± std、seed 数量、majority vote、Pass@k，而不是单个漂亮数字。

4. 区分“模型进步”和“评估噪声”

换模板涨 2 分、换 GPU 掉 3 分、换 judge 模型翻 5 分——这些都不是算法贡献。

医工论文应做 ablation：prompt format / precision / seed / hardware 各自贡献多少？

5. 临床关键任务禁用“黑箱 API 单点结论”

若用 GPT/Claude 做诊断辅助，必须：

• 记录 model version + system_fingerprint + 查询时间

• 多次调用聚合

• 人工仲裁

• 明确“模型输出不可作为最终医疗决策唯一依据”

6. 用 ReproEvalCard 思路写附录

至少公开：模型标识、版本/checksum、访问方式、查询日期、完整 prompt、解码参数、硬件、软件栈、检索快照、judge 配置、原始输出仓库。

---

六、述评：可复现性正在从“道德”变成“架构”

早期 ML 社区谈可复现，是学术诚信问题。

LLM 时代，它变成系统架构问题：

• 评测平台要存“输出快照”；

• 医院 AI 中台要存“模型指纹”；

• 期刊要收“LLM 附录”；

• 监管要问“你能否在另一次部署中重建这次判断”。

未来医工交叉里的好工作，不一定参数最多、分数最高，而是别人按你给的包，真能跑出你说的结论。

大语言模型不会自动带来科学进步。

它先把“可复现”撕开给我们看，再逼我们把工程纪律补回来。

医工学人的判断是：

LLM 在医学里的可信度，不取决于它多会解释，而取决于它多容易被重建。

---

▼ 参考资料

1. Yuan J, Li H, Ding X, et al. Understanding and Mitigating Numerical Sources of Nondeterminism in LLM Inference. arXiv:2506.09501, 2025. https://arxiv.org/abs/2506.09501

2. Non-Determinism of “Deterministic” LLM System Settings in Hosted Environments. ACL 2025 相关报道与综述材料.

3. Hochlehnert A, Bhatnagar H, Udandarao V, et al. A Sober Look at Progress in Language Model Reasoning: Pitfalls and Paths to Reproducibility. COLM 2025.

4. Randomness in large language models: What researchers need to know (and report). arXiv, 2026. https://arxiv.org/html/2607.24372

5. Pattnayak P, Bhatia A. ReproEvalCard: A Reporting Standard for Reproducible Evaluation of LLM Pipelines. ACL 2026. https://aclanthology.org/2026.acl-short.22.pdf

6. LLM Research Guidelines. Report Model Version, Configuration, and Customizations. https://llm-guidelines.org/guidelines/model-version/

7. Beam AL, Manrai AK, Ghassemi M. Reproducibility in machine-learning-based research. Nature Medicine / Wiley, 2025.