协作信息的新鲜度对多智能体强化学习执行性能的影响

——一项以仓储多机器人任务为载体的小型实验研究

当多个智能体（机器人、无人车或智能体）通过共享信息来协作完成任务时，一个自然的问题是：当共享的信息由于延迟，异步等情况，晚到几步，是否还有好的价值？ 车联网领域近期的研究表明：新鲜的协作信息价值巨大；价值随延迟迅速衰减，甚至变成负资产（比不用还差）！；在计算与通信双预算约束下，刷新信息的机制存在可优化的空间；且这种优化规律和机制可以被神经网络学到。

这次，我们把同样的问题搬到一个相似的 感知—决策 领域——仓储多机器人搬运任务上的多智能体强化学习——检验这些结论是否仍然成立。我们在一个 4 台搬运机器人、含任务分配、电量管理与交通冲突的仿真仓库中训练出三个性能饱和的协作策略模型，然后冻结策略不再改动，只在执行阶段系统地操纵 队友信息的新鲜程度 ，共完成约 9,000 局受控评估。核心发现：

1. 协作价值成立：完全收不到队友信息时，团队回报从 4.75 跌至 2.68，整局完成率从 100% 跌至 65%；
2. 衰减成立但相比较车联网领域缓慢，这说明队友信息的新鲜程度在不同领域对于决策效果存在差异：在设置的仓储多机器人任务上，信息延迟 4 步以内几乎完全无损；性能损失过半发生在延迟约 90–100 步处——比一局任务的长度还长；即便整局只在开头收到一次队友快照，也仍比从未收到强 0.7 个回报单位。然而，在车联网实验中，延迟 2 帧决策效果甚至就会低于不用队友信息！；
3. 信息的价值随任务阶段强烈变化（在任务中后段广播一次，比在开局广播值钱 0.5–0.8 个回报单位），而用于规划的统计模型恰恰无法表达这种时间结构。

---

1 介绍

1.1 来自车联网协同感知的结论

自动驾驶领域有一个分支叫协同感知（cooperative perception）：相邻车辆通过无线通信互相分享传感器数据（如激光雷达点云），从而让每辆车"看得更远、看得更全"。国际公开数据集 OPV2V 提供了带真值标注的车辆行驶记录，研究者通常在其上训练融合网络——把邻居传来的特征与自己的感知融合后再做车辆检测。

（图片参考并取自https://blog.csdn.net/qq_51677409/article/details/140198499，OPV2V是首个大型协同感知仿真数据集，支持V2V协同感知融合策略。
选择 CARLA 作为收集数据集的模拟器，但 CARLA 不具备 V2V 通信和协同驾驶功能。因此，选择OpenCDA（与 CARLA 和 SUMO集成的协同仿真工具）来生成数据集。）

一项使用该数据集的分析实验（我们称为"参照实验"，由我们内部分析得到）系统研究了信息新鲜度问题：邻居的数据如果晚到 1 帧、2 帧、3 帧再被使用，检测性能会怎样变化？其四个结论是：

编号	参照实验的结论	具体数字
结论一	新鲜的邻居信息有巨大价值	相比单车自己感知，检测精度（AP@0.7）提升 23.7 个百分点
结论二	价值随延迟迅速衰减并转为负资产	延迟 1 帧时 +15.6 点；延迟 2 帧时 −0.8 点（低于单車基线）；延迟 3 帧时 −10.2 点
结论三	"何时重新计算、何时请求新数据"存在联合优化空间	在 10 帧窗口内做穷举最优规划（动态规划），可比逐帧贪心最多高 9.4 个精度点，优势集中在计算与通信预算一松一紧的区域
结论四	这种优化规律可被神经网络学习	用带记忆的网络（GRU）蒸馏规划结果，比无记忆网络高 9.1 个精度点

这四个结论背后是一个对所有分布式智能系统都重要的问题：协作信息的边际价值如何随时间衰减？调度它的最佳方式是什么？ 换一个不同的决策任务领域，结论还成立吗？

1.2 本研究的载体：多智能体强化学习

我们选择在多智能体强化学习（multi-agent reinforcement learning, MARL）设定下检验上述结论。先解释三个基本概念：

• 强化学习（reinforcement learning, RL）：让程序通过反复试错学会决策的方法。程序（称为智能体）在每一步观察环境、选择一个动作，环境反馈一个奖励（分数）；训练的目标是让长期累计奖励最大。训练得到的策略就是一个"看到什么就做什么"的决策函数。
• 多智能体：多个智能体同时在同一环境里行动、共享同一个团队得分（一荣俱荣）。本研究中是 4 台仓库搬运机器人。
• 与检测任务的本质差别：检测任务每一帧都能独立打分（检测精度），因此"这一帧的信息值多少钱"可以直接测出；而强化学习的得分是一整局任务的总分，单步信息的价值只能间接推断。

1.3 研究问题

把参照实验的四个结论翻译到本设定，可以得到四个可检验的问题：

• 问题一（协作价值）：对已经训练好的协作策略，收不到队友信息会让团队表现差多少？
• 问题二（衰减与负迁移）：队友信息延迟 k 步才被看到，表现如何随 k 衰减？是否存在"延迟太久反而不如干脆不看"（即负迁移：被误导比无知更糟）？
• 问题三（调度空间）：在"每窗口只允许刷新有限次"的预算约束下，不同的刷新时机安排（固定周期 / 随机 / 贪心 / 最优规划）表现差别多大？最优安排的优势是否集中在预算不对称的区域？
• 问题四（对应参照实验的结论四）：原计划用"有记忆 vs 无记忆"的策略对照来检验调度规律的可学习性，本研究完成前三个问题后未展开问题4的分析，作为后续方向。

---

2　总体研究方法

2.1 类比：从车联网到仓库机器人

两个领域的概念对应关系如下：

车联网协同感知中的概念	本研究中的对应物	说明
本车自己的激光雷达	机器人对周围 3×3 格的局部感知（自带，始终新鲜）	“自己亲眼看到的”
邻车发来的特征数据	观测中专门的 16 维队友信息通道：4 个队友各自相对自己的位置、剩余电量、货物/信号状态	“别人告诉我的”，是唯一被操纵的信息来源
缓存年龄（延迟 k 帧）	缓存年龄（延迟 k 步）：队友信息每 k+1 步才允许更新一次，其间重复使用旧值	见 5.1 节的注入机制
检测精度 AP	团队回报、整局完成率、每局步数、冲突次数、剩余电量	见 3.4 节
训练好的检测网络	训练好的协作策略（全程冻结，不再改动）	保证性能差异只来自信息新鲜度

所有新鲜度实验都在冻结的策略上进行——不重新训练、不微调。这样，任何性能变化都只能归因于"喂给策略的信息有多旧"，排除了"策略自己适应了坏信息"的混淆。

2.2 实验路线

研究分三步递进，每一步都以上一步的产出为前提：

1. 建立可信基准：仓库环境与训练代码，必须先自己证明"环境没有缺陷、任务可学、策略训练到了高质量"，否则后续一切结论无根基；
2. 信息新鲜度扫描：冻结基准策略，系统测量"延迟 k 步"的性能曲线，回答问题一、二；
3. 预算约束下的调度对决：构建"每步收益如何依赖信息年龄"的统计模型，让四种调度策略在真实环境里同台竞技，回答问题三，并解剖最优规划未能拉开差距的原因。

全部实验在单台 Apple M4 Pro（14 核 CPU / 24 GB 内存）的电脑上完成，总计算量约 40 小时（其中三个策略的训练约 35 小时）。

---

3　实验平台

3.1 仓储多机器人环境

仿真环境是一个 14×12 的网格仓库（图 1 示意），4 台搬运机器人（下称"机器人"）协作完成 9 个搬运订单。环境规则：

• 动作：每台机器人每步从 8 个离散动作中选一个——等待、向四个方向移动一格、拾取/放下货物、充电、广播信息。非法动作（如撞墙）会被动作掩码屏蔽，即根本不进入可选列表；
• 订单：每个订单有一个取货点（货架旁）和一个卸货点（仓库两端），并有 40–69 步的交付时限，超时扣分；机器人之间可以通过"广播"动作认领最近的未分配订单，认领关系保持 40 步；
• 电量：移动耗电（载货时更多），电量耗尽的机器人无法移动；仓库底部有 2 个充电格，充电费时间但回电。带电量管理是本任务的重要难度来源；
• 冲突：两台机器人试图进入同一格、迎面对穿、或撞上静止的机器人时，双方退回原位并记一次冲突（团队扣分）。巷道狭窄，冲突是主要的协作瓶颈；
• 一局的结束：9 个订单全部完成（成功）；或达到 650 步上限（超时）；或全体机器人没电卡死（硬失败）。

3.2 机器人看到什么：观测结构与队友信息通道

每台机器人每步收到一个 96 维的观测向量，结构固定：

区段	维度	内容	本研究中是否操纵
周围 3×3 格	54	每格 6 个通道：障碍/边界、任务、目标、队友是否占据、危险、充电点	否（本体感知，始终新鲜）
自身状态	12	自己的位置、朝向、电量、是否载货、所载货物时限等	否
环境类型/自身编号	9	环境种类的独热编码 + 自己的槽位编号	否
队友信息通道	16	4 个固定槽位 × 4 项：队友相对自己的 x/y 偏移、剩余电量、货物类型或广播信号	是——唯一的操纵对象
任务进度摘要	5	完成率、进度、难度、人数比、冲突计数	否

注意一个重要区分：3×3 邻域里也有"这格有没有队友"的通道，但那属于亲眼所见（队友就在旁边一格才能看到）；而 16 维队友信息通道给出全体队友的全局相对状态——相当于车联网里"邻车把它的定位广播给你"。它是本研究的唯一信息阀门：把它置零等于"从未收到任何广播"；把它持住 k 步等于"广播晚了 k 步"。槽位在观测向量中的确切位置（第 75–90 维）经过与仿真程序源码逐维核对。

3.3 学习算法与训练设置

• 算法 QMIX：多智能体强化学习的经典方法。每台机器人有自己的决策网络（一个带门控循环单元 GRU 的小型神经网络——GRU 是一种有"记忆"的网络，能记住之前看到的观察序列），4 台机器人共享同一套网络参数；训练时另有一个混合网络根据全局形势（含所有机器人状态、所有订单状态的 128 维特权信息）把各人的价值估计合成团队价值。这套"训练时看得全、执行时各看各的"的范式称为集中训练、分散执行（CTDE），是多智能体强化学习的标准做法；
• 探索：训练早期以概率 ε 随机乱走（ε 从 1.0 逐步退火到 0.05），以保证充分试错；
• 训练数据：每局最多 650 步；训练中每 5 万步做一次 32 局"收起探索、纯贪心"的考试评估，得到学习曲线；
• 泛化保障：环境布局由布局种子（一个整数）程序化生成，每个种子生成不同的货架排布与订单位置。训练用一族种子序列，最终考核用训练从未见过的种子序列，防止策略死记硬背特定布局；
• 随机种子与稳定性：完整的训练用 3 个不同的随机种子（下称种子 A / B / C）各自独立重复，以证明结论不依赖某次幸运的初始化。

3.4 评估指标

指标	定义	好的方向
团队回报	一局中所有奖励事件之和（完成订单大加分、提前完成有时间加分、冲突/超时/耗尽扣分）	越高越好
整局完成率	9 个订单全部完成即结束的局的比例	越高越好
每局步数	一局实际用了多少步（成功局可以提前结束）	越低越好（干得快）
冲突次数	一局中机器人互相碰撞的次数	越低越好
剩余电量	局终时电量均值	适中偏高（会规划充电）

---

4　实验一：建立可信的基准

4.1 动机与验证优先协议

若环境本身有缺陷（例如奖励不可达、任务在时限内不可解、动作掩码错误），后续所有"信息新鲜度"结论都会是空中楼阁。因此我们采用验证优先的递进协议，每步都有预先写明的通过标准，全部通过才进入下一步：

1. 环境契约检查：验证观测维度（4×96）、全局信息同值（4×128）、动作数（8）、动作掩码、终止语义等与规格完全一致；
2. 随机基线测量：让 4 台机器人永远随机乱走，测量各项指标的下限。这一步同时检验"任务是否可达"——随机行为应当有微小进展但基本完不成；
3. 可学性检查：短程训练（20 万步）确认学习曲线确实抬头；
4. 正式训练：三个种子独立训练到性能饱和；
5. 未见布局考核：用训练从未见过的布局种子，每策略评估 100 局，验证泛化。

4.2 结果一：随机基线

指标	随机乱走	说明
团队回报	−7.27 ± 0.70	全局地板，后续所有效应量的参照分母
整局完成率	0%	符合预期
订单完成比例	2.5%	有微小进展 → 任务可达、奖励不空转
冲突次数	16.9 / 局	冲突机制在随机行为下即被激活
每局步数	518	多数局因机器人集体没电而提前终止（耗尽停滞）

4.3 结果二：三个种子都训练到了饱和

三个种子的学习曲线见图 1。三个种子的学习速度有明显差异（种子 C 约 300 万步就饱和，种子 B 需要 480 万步），但最终水平高度一致，且都经历了相同的三个学习阶段——先学会避撞（冲突从每局数百次降到个位数），再学会完成任务，最后学会整局全清与电量规划。

图 1　三个随机种子的训练过程。（a）团队回报：三条曲线都从 −17 附近（未训练网络 + 贪心动作，比随机乱走还差）爬升，先后越过随机基线（红色虚线，−7.27），最终汇聚到 4.7–4.8 的平台。（b）整局完成率：最终都达到 96–100% 并保持。

三个种子各出现过 1–2 次瞬时崩溃（成绩骤降 20 个点以上，随后数万步内完全恢复）。这是此类算法长训练中的已知现象，不影响最终模型——我们按预定规则选用"训练期内考试成绩最高时刻"的模型存档（策略的完整参数快照，可随时载入使用）作为后续实验的冻结策略，避开了任何失稳时刻。

4.4 结果三：未见布局上表现完美

用训练从未见过的布局种子序列，每个种子的策略各评估 100 局：

策略	团队回报（100 局均值 ± 标准差）	整局完成率	相对训练内成绩的衰减
种子 A	4.695 ± 0.381	100%	1.9%
种子 B	4.806 ± 0.092	100%	0.0%
种子 C	4.741 ± 0.180	100%	1.5%
跨种子汇总	4.747 ± 0.056	300 / 300 局	预定标准为 ≤15%

三个策略在 300 个全新布局上无一失手；平均 80 步左右完成全部 9 个订单（上限 650 步），每局冲突约 2 次，局终剩余电量 0.70（说明充电被合理规划）。

4.5 实验一小结

“环境有缺陷"与"训练不出质量”——被正式排除。基准坐标系就此确立：随机地板 −7.27，收敛天花板 4.75，可用效应量跨度约 12 个回报单位。后续所有实验的效应大小都可以放到这个跨度里衡量。

---

5　实验二：队友信息的价值与陈旧度衰减

5.1 实验设计：信息新鲜度注入

我们写了一个信息阀门程序，插在环境与冻结策略之间，只作用于 96 维观测中的 16 维队友信息通道：

• 从未接收（对照组）：这 16 维永远置零——机器人完全不知道队友在哪、电量如何、在搬什么；
• 延迟 k 步：每 k+1 步允许"收到一次广播"（把这 16 维更新为当前真值），其余步骤重复使用上一次收到的值——相当于信息最旧滞后 k 步；
• 每步刷新（新鲜组）：每步都收到最新值，等价于没有阀门（我们验证了插入阀门本身对结果零影响：新鲜组的成绩与第 4 节考核逐位一致）。

实验矩阵：3 个冻结策略 × 12 个信息延迟档（从未接收、每步、1、2、4、8、16、32、64、128、256 步，以及"整局只在开局广播一次"）× 每档 100 局，全部在同一批未见布局上进行，构成严格的配对比较。

5.2 结果一：协作价值巨大

指标	每步收到最新队友信息	从未收到队友信息	差异
团队回报	4.747	2.683	−2.06（占基准全跨度的 17.2%）
整局完成率	100%	64.7%	−35.3 个百分点
冲突次数	1.86 / 局	8.39 / 局	4.5 倍
每局步数	80	298	3.7 倍

三个策略分别检验全部显著（每策略 100 局配对，z 值 5.9–12.3，远超显著门槛）。注意量级的种子差异：三个策略丢掉队友信息分别损失 0.81 / 2.41 / 2.98——"协作信息值多少钱"是策略个性（有的策略更依赖广播，有的更依赖眼见为实），但方向无一例外。

5.3 结果二：衰减缓慢、无负迁移

图 2　队友信息延迟对性能的影响（3 个策略 × 100 局均值）。（a）团队回报：延迟 0–4 步为"免费平台"；8–32 步缓降；64–128 步出现悬崖；128 步以上进入饱和地板（3.35–3.50），但仍显著高于"从未接收"（红色虚线 2.68）。（b）整局完成率同样在 64 步延迟后才开始明显下滑。（c）任务效率（每局步数）是最灵敏的指标——延迟 4 步时完成率纹丝不动，步数已经悄悄变长。

完整的数字见下表 ：

信息延迟（步）	团队回报	整局完成率	冲突次数	每局步数	解读
0（每步刷新）	4.747	100%	1.86	80	新鲜基线
1	4.733	99.7%	1.82	84	免费平台
2	4.741	99.7%	1.77	83	免费平台
4	4.712	99.7%	1.91	89	免费平台
8	4.648	98.3%	1.85	101	缓降开始
16	4.569	97.3%	2.05	114	缓降
32	4.517	96.7%	2.48	124	缓降
64	4.219	91.7%	3.41	157	悬崖开始
128	3.496	78.0%	6.30	220	悬崖
256	3.383	72.3%	4.96	238	饱和地板
开局仅一次	3.346	69.7%	4.95	239	≈ 饱和地板
从未接收	2.683	64.7%	8.39	298	负对照

表 6　信息延迟全扫描（3 个策略均值；"开局仅一次"指整局只在第 0 步收到一次队友快照）。

• 半衰期约 90–100 步：把"协作价值"（4.747 − 2.683 = 2.06）损失过半的位置夹在延迟 64 与 128 步之间——比一局任务的典型长度（80 步）还长。对照参照实验：车联网中半衰期约 2 帧 = 0.2 秒，其"一帧"占任务时程的比例远小于我们的"一步"；
• 负迁移不存在：所有延迟档（哪怕整局只有开局一次快照）都严格优于"从未接收"（高出 0.66–2.06）。参照实验中"延迟 2 帧即低于不用"的负迁移在本设定不复现；
• 延迟敏感度是环境属性，价值幅度是策略属性：延迟 1–64 步区间内，三个策略的成绩差异（跨种子标准差）只有 0.01–0.08，是全部测量中一致性最高的部分；而"从未接收"组的策略间差异高达 1.09。两种属性干净分离。

5.4 为什么这里没有负迁移

参照实验的负迁移来自一个几何机制：车辆在 0.2 秒内移动 2–3 米，延迟的特征经坐标对齐后与真实世界错位，融合网络无条件信任错位信息，输出被污染，比不用更糟。本设定中三个机制共同阻止了同类灾难：

1. 动态慢：网格世界每步 1 格，几十步内队友位置信息仍近似正确；而"相对位置"这类特征对缓慢漂移天然鲁棒；
2. 策略经过噪声训练：训练期的随机探索（ε-贪心）让策略学会了容忍输入扰动——被误导时退化为"按近似信息行动"，渐进滑向无信息基线，而非被误导到更糟的地方；
3. 协调关键期在开局：任务分配集中在前段，而任何延迟档在第 0 步总有新鲜快照，恰好覆盖关键期——这也是"开局一次快照仍值 +0.66"的来源。

另外，悬崖恰好落在 64–128 步之间、横跨环境的40 步订单租约尺度，提示衰减的时间尺度由环境的协调节律（租约/时限）而非移动速度决定——这是一个可进一步检验的假说（第 8 节）。

---

6　实验三：预算约束下的信息调度

6.1 问题设定

前一部分测量的是"固定延迟"的代价。现在换成调度视角：把一局任务切成 128 步的窗口，规定每窗口只允许刷新 k 次队友信息（通信预算），问"这 k 次安排在哪些步最好"。这正是参照实验结论三的移植。原设计中还有第二个维度——计算预算（隔几步"思考"一次）——但接下来的发现直接终结了它。

6.2 发现一：计算预算没有任何压缩空间

我们实现了两种"隔步思考"的语义，都得到崩溃性结果：

图 6　让机器人每 2 步才推理一次的后果。 两种实现——执行层重放（照常思考但隔步丢弃输出、重复上一动作）与冻结记忆重放（跳过思考、冻结网络记忆、重复上一动作）——都使团队回报从 4.70 崩至约 −5，整局完成率归零，冲突暴增到每局 29–38 次。

两种语义的一致性排除了实现伪影：崩溃源于动作重放本身。网格世界里每个移动指令执行两次等于系统性过冲——冲过取货格、迎头撞上队友。这与通信侧的宽松（延迟 4 步免费）构成极端不对称：在此类离散动作任务中，"省计算"根本没有可行区间，联合调度退化为通信单轴问题。参照实验的"不对称预算区增益集中"在此以极限形式成立——不对称到一轴完全刚性。

6.3 构建每步收益的统计模型

要在预算约束下做规划，需要知道"第 t 步、信息年龄 a 时，平均每步能挣多少奖励"，记为 u(t, a)——效用面。检测任务里这可以直接逐帧测量；这里我们用如下管线间接获得：

1. 逐步记账：在信息阀门程序里记录每一步的（局内时刻 t、信息年龄 a、本步团队奖励），24 组不同固定延迟的运行（每组 100 局）共积累 108,213 步记录；
2. 拟合：用加性模型 u(t, a) ≈ 全局均值 + 时刻修正 f(t) + 陈旧惩罚 h(a) 拟合稠密的 128×128 面（周期运行的(t, a)覆盖有结构性稀疏，加性结构用于插补）；
3. 验证：用拟合面预测 8 组训练时用过的固定延迟运行的逐步平均收益，实测与预测的相关系数 r = 0.9932（表略），模型在"周期类调度"上高度可信。

图 5　每步收益模型。（a）完整的 u(t, a) 面：越亮越好；信息越旧（纵轴越高）越暗，但开局时刻（t 小）整体也偏暗（此时还没有奖励事件）。（b）陈旧惩罚 h(a)：延迟 8 步后加速加深。（c）时刻修正 f(t)：约 80 步处有一个明显的高峰——多数成功局在此时完成主要订单、拿到大额奖励，终局奖励峰。

模型的可信度是"有条件的"：加性拟合只解释了 66% 的方差，剩下 34% 是"时刻 × 年龄"的交互作用——这一点很快变得至关重要。

6.4 四种调度策略的正面对决

在通信预算 k ∈ {1, 2, 4, 8}（每 128 步窗口）下比较四种安排（全部用种子 B 策略、每配置 100 局、同一批未见布局）：

• 固定周期：把 k 次刷新均匀铺开（每 128/k 步一次）——朴素但常用的基线；
• 随机放置：k 次刷新随机撒在窗口内；
• 逐步贪心：每步比较"现在刷新能立刻多挣多少"，只要划算就花——只看眼前，不看未来；它总在开局就把预算花光（因为开局从"一无所知"到"有信息"的即时收益最大），之后的信息会一直变旧；
• 动态规划：在效用面 u(t, a) 上做穷举式的最优安排——考虑"现在不刷新，未来年龄会变老"的全部后果。这是参照实验中击败贪心的"黄金标准"。

图 3　四种调度策略的实环境成绩。 逐步贪心（红色）在所有预算档上都最差；动态规划（绿色）与固定周期（蓝色）咬得很紧；低预算档上随机放置（紫色）意外领先。

预算（次/128 步）	固定周期	随机放置	逐步贪心	动态规划
1	3.304	4.016	3.304	3.304
2	4.172	4.290	3.087	4.103
4	4.463	4.302	3.696	4.499
8	4.482	4.457	4.217	4.605

表 7　调度对决（团队回报，种子 B 策略，每格 100 局）。

在预算最宽裕的一档做跨策略复核（三个种子全部重测）：

策略	固定周期	逐步贪心	动态规划
种子 A	4.56	4.34	4.65
种子 B	4.48	4.22	4.61
种子 C	4.64	4.09	4.56

表 8　预算 8 次档的跨种子复核（整局完成率分别为 0.88–1.00）。

两个结论：

1. "必须有长远规划"强复现：逐步贪心在三个种子、四个预算档上全部垫底（比最优低 0.2–1.0）。它的失败模式与参照实验描述完全一致——只顾眼前的即时收益，把预算在开局烧光，让信息在后 100 步持续陈旧。这证实："当前不刷新会让未来的信息变旧"这一跨步耦合是真实且昂贵的；
2. 动态规划没有拉开差距：它与固定周期互有胜负（差 ≤0.13，多数在噪声范围内），远小于参照实验中最大 6.77 个精度点的优势。下一节解释为什么。

6.5 发现二：信息价值随任务阶段强烈变化

预算 1 档的一个反常现象引起注意：三种"聪明"安排（周期/贪心/规划都把唯一一次刷新放在开局）全部只得 3.30，而随机放置（恰好把刷新撒在了窗口中段）得了 4.02。我们做了针对性实验——整局只广播一次，位置在 {0, 32, 64, 96} 步之间选择（图 4）：

**图 4　唯一一次信息广播的位置决定其价值。**开局广播（t=0）反而最差（3.30）；放在 32 步（4.10）或 96 步（4.06）最划算；从不广播 2.39。差距达 0.75–0.79，约为 100 局均值标准误的 4–5 倍，高度显著。

广播位置（步）	团队回报	整局完成率	每局步数
0（开局）	3.304	69%	281
32	4.095	85%	182
64	3.824	77%	231
96	4.055	87%	195
从不广播	2.394	43%*	—

表 9　单次广播位置扫描（种子 B 策略，每档 100 局；*引自该策略的"从未接收"参照测量）。

机制解释：开局阶段各机器人尚未分散、任务尚未展开，此时有无队友信息差别不大；随着任务推进，机器人各自散开、路线开始交叉，中后段对彼此位置的需求上升——恰在此时（约 80 步处，参见图 5c 的终局奖励峰）刷新一次信息，正好覆盖冲突高发与奖励密集的时段。换句话说：信息的价值 = f(信息年龄) × 任务阶段，是一个乘性/交互结构。

6.6 为什么动态规划没赢：模型保真度是瓶颈

把 6.5 的实测与 6.3 的模型预测对照，就找到了 6.4 中动态规划表现平庸的根源：

单次广播位置	统计模型的排序打分	实测回报
0 步	1.693（模型认为最优）	3.304（实测最差）
32 步	1.301	4.095（实测最优）
64 步	1.445	3.824
96 步	0.777	4.055

表 10　模型与现实的排序完全相反。 加性模型把"开局无信息"的代价按"中段持续陈旧"来估计（h(a) 项），高估了开局阶段无信息的损失、也无法表达"后段新鲜信息覆盖奖励峰"的价值——正是 6.3 节中那 34% 的交互方差。动态规划在这个失真的模型上做最优安排，等于拿着错误的地图找路：它"正确地"求解了模型问题，但模型问题不是真实问题。

这构成一个方法论层面的完整叙事：

• 环境里确实存在调度空间（表 9：位置选对与否价值差 0.79；表 7：预算 1 档内最优安排与最差安排差 0.7+）；
• 但"表格效用面 + 规划"的经典管线抓不住它——因为逐帧可打分的检测任务与轨迹级得分的强化学习任务，在效用可测性上有本质差别；
• 留给学习方法的空间恰好明确：一个能根据（时刻、当前信息年龄）等上下文在线决定"刷不刷新"的策略，理论上可以把表 9 的位置效应兑现为收益——这为后续"学习型调度器"给出了清晰的目标与及格线（打平动态规划、逼近中后段放置的最优）。

---

7　综合讨论

7.1 与参照实验的结论对照总表

参照实验结论	本研究判定	关键证据	与参照的差异
一：新鲜协作信息有巨大价值	成立	−2.06 回报（占基准跨度 17%）、完成率 −35 个百分点、冲突 ×4.5（表 6）	量级口径不同（检测精度点 vs 回报单位），方向一致
二：价值随延迟快速衰减并转为负资产	一半成立：衰减成立、缓慢；负迁移不成立	半衰期 ≈90–100 步 > 一局长度；所有延迟档严格优于不接收（5.3 节）	参照实验半衰期 ≈2 帧且 2 帧即转负；差异源于动态速度、策略鲁棒性、协调关键期（5.4 节）
三：联合调度有空间，规划显著优于贪心，优势在预算不对称区	贪心劣化强复现；规划优势未达参照量级；不对称以极限形式成立	贪心 3/3 种子、4/4 预算垫底；规划−周期 ≤0.13；计算轴完全刚性（6.2、6.4 节）	参照中规划最多 +6.77 精度点；本研究定位瓶颈为效用模型保真度（6.6 节）
四：调度规律可被网络学习	未检验（列为后续方向）	6.5–6.6 节给出了明确的学习目标与基线	—
（参照实验没有的新发现）	信息价值随任务阶段强变化；计算零余量 × 通信高余量的极端不对称	表 9、图 4、图 6	—

7.2 两个领域为什么表现不同

把全部证据放在一起，造成差异的根源可以归纳为三点：

1. 效用可测性：检测任务的每帧精度让"单步信息价值"直接可测，规划建立在真值上；强化学习的得分是轨迹级稀疏信号，任何单步效用模型都是统计近似，规划的上限被模型保真度封顶；
2. 决策对象的物理性质：感知特征是连续缓变量，晚几帧损失平滑；本任务的动作是离散 motor 指令，重复执行=几何过冲，"省计算"直接出局。信息（可缓存、可容忍延迟）与动作（必须每次新鲜）的物理差异，是两个预算轴命运迥异的根本原因；
3. 策略对噪声的鲁棒性：经过 ε-贪心探索训练的策略对陈旧输入呈"渐进退化"而非"被误导至更糟"，从机制上封死了负迁移的出现路径。

7.3 局限性

1. 单一环境、单一难度：所有结论来自一个仓储环境（难度 0.35、9 订单）。衰减半衰期与"40 步租约"的对应关系（5.4 节）是观察性假说，未做难度/时限扫描验证；
2. 聚合统计而非逐局数据：评估管线只保存 100 局的均值与标准差，中位数与分位数无法事后导出（第 6 节的调度实验补上了逐步奖励日志，但第 5 节没有）；
3. 效用面的覆盖结构性稀疏：周期运行只覆盖 (t, a) 空间的"对角带"，加性插补填补了其余区域——周期类调度上验证 r=0.993，但非周期调度的预测未被独立验证（表 10 正是暴露此局限的例子）；
4. 随机放置策略只测了一个随机种子；调度对决在种子 B 上完整进行，种子 A/C 只复核了最宽预算档；
5. 动态规划做了两个简化：窗口末边界取零、信息年龄超过 128 步按 127 封顶——对 1–2 窗口长度的局是二阶效应；

---

8　结论与讨论

8.1 结论

本次测试把车联网协同感知中关于"信息新鲜度"的四个结论，搬到一个完全不同的领域——网格仓储任务上的多智能体强化学习——做了系统的受控检验（约 9,000 局评估、3 个独立训练的策略、全程冻结）。结论一（协作价值）完全成立；结论二（衰减）成立但形态迥异——缓慢、无负迁移；结论三（调度空间）一半成立——"需要长远规划"被强复现（贪心全面垫底），但最优规划相对朴素基线的优势受制于效用模型的保真度而非环境本身没有空间。同时得到两个参照实验没有的发现：信息价值随任务阶段强烈变化（中后段广播比开局广播值钱 0.5–0.8），以及计算与通信预算的极端不对称（前者零余量、后者可压缩到 1/128 仍有余值）。

8.2 未来方向

1. 学习型信息调度器（对应参照实验结论四，也是本研究自然的中篇）：训练一个小型策略，输入（当前时刻、信息年龄、任务进度、电量等），输出"是否刷新"。6.5–6.6 节已给出明确的及格线（打平动态规划、把刷新集中到中后段）与现成的对照基线（周期/随机/贪心/规划四家成绩单）；108,213 步的逐步日志可直接作为模拟训练素材；
2. 假说检验：衰减时间尺度由环境协调节律决定——系统扫描订单时限与租约长度（当前 40–69 步），检验悬崖位置是否随之平移；
3. 跨环境与跨难度泛化：在另外 4 个自带环境（推箱、分拣、爬行、巡检）上复测衰减曲线，检验"半衰期 ≈ 协调节律"的普适性；

---

附录 A　实验环境、资产与存档位置

项目	内容
硬件	Apple M4 Pro（14 核 CPU / 20 核 GPU / 24 GB 统一内存），macOS
仿真环境	Unity 引擎自建场景（程序化布局、确定性同步转移），构建产物 builds/benchmarks/WarehouseAGV_Multi.app
训练框架	PyMARL2（多智能体强化学习框架，QMIX 实现），Python 3.10 / PyTorch 2.8
研究工作目录	research/freshcoop/：设计文档（docs/）、启动脚本（scripts/）、结果快照（results/）、决策日志（notes/decisions.md，含全部 17 条预注册决策与执行偏离记录）
原始训练/评估数据	pymarl2/results/sacred/（各 run 的完整指标）、pymarl2/results/models/（全部策略存档）、research/freshcoop/results/p2_steplogs/（108,213 步逐步奖励日志）
本报告图表脚本	research/freshcoop/report/make_figures.py

附录 B　关键数据的完整表格

B1　基准训练摘要（第 4 节）

策略	训练步数	饱和步数	平台回报	未见布局回报（100 局）	未见布局完成率
种子 A	4.0 百万	~3.8 百万	4.79	4.695 ± 0.381	100%
种子 B	6.0 百万	~4.8 百万	4.73	4.806 ± 0.092	100%
种子 C	6.0 百万	~3.0 百万	4.70	4.741 ± 0.180	100%

B2　信息延迟扫描的三个策略分项（第 5 节，团队回报）

信息延迟（步）	种子 A	种子 B	种子 C	均值
0	4.695	4.806	4.741	4.747
1	4.723	4.733	4.742	4.733
2	4.677	4.766	4.780	4.741
4	4.654	4.747	4.734	4.712
8	4.701	4.558	4.685	4.648
16	4.517	4.589	4.603	4.569
32	4.495	4.546	4.511	4.517
64	4.310	4.183	4.163	4.219
128	3.789	3.252	3.446	3.496
256	3.402	3.214	3.532	3.383
开局一次	3.302	3.181	3.555	3.346
从未接收	3.890	2.394	1.765	2.683

B3　效用面模型质量（第 6 节）

统计量	数值
拟合用逐步记录	108,213 步（8 组固定延迟运行 × 100 局）
加性模型解释方差 R²	0.664（其余 34% 为时刻×年龄交互与噪声）
周期运行留出验证相关系数 r	0.9932（8 组运行）