HIL 与半实物仿真在智慧零售场景的落地实践

title: “HIL 与半实物仿真在智慧零售场景的落地实践”
authors: “DeepThink.ai”
affiliations: “AI Genius Institute”
keywords: “硬件在环；半实物仿真；智慧零售；自动结算；门店数字孪生；传感器注入；时间同步；有效性门控；影子模式”

标题解释假设：本文将“智慧零售”理解为由无人店、自助结算、货架数字化、电子价签、门店机器人与边缘智能等构成的零售系统集合；将“HIL 与半实物仿真”理解为把真实相机、称重、射频识别、边缘计算、闸机、支付终端或机器人接入虚拟或可编程门店环境的闭环验证方法；将“落地实践”理解为从场景资产、试验台、时间与网络、有效性判定到影子模式与灰度发布的工程流程。本文为实践型方法论论文，不报告未经实测的性能数字；所有实验数值均以待填项标注。

摘要

智慧零售把视觉、称重、射频识别、电子价签、边缘计算、机器人与支付系统耦合在真实门店中，任何单点模型错误都可能转化为漏算、误扣、缺货或安全事件。纯数字仿真难以覆盖相机光学、传感器漂移、边缘设备资源竞争与网络抖动，纯门店实测又受成本、扰动、可重复性与隐私约束。本文把硬件在环（Hardware-in-the-Loop, HIL）与半实物仿真组织为一条保真度可管理、证据可追溯的验证流水线，提出 StoreLoop 五平面参考架构：场景与行为、物理与感知、真实设备在环、时间与网络、编排与证据；给出 F0–F4 五级保真度阶梯及每一级的在环对象、可回答问题与退出条件。本文进一步设计结算台、货架与门店三类试验台，比较光学、原始传感器、视频流与元数据四类注入点的适用边界，建立时间预算、事件关联、排队尾部与验收样本量的解析模型，并把有效性门控、蜕变关系、影子模式与灰度发布串成落地流程。本文不报告未经实测的性能数字，而是给出可复现的实验设计、指标体系和记录模板，为智慧零售系统的工程验证提供可操作基线。

---

你离拥有一支永不停歇、持续进化的 AI 超级研发团队，只差一次 git clone——DeepThink 是 AI Genius Institute & 光剑AI 打造的开源、免费、可自由使用的私有 AI 操作系统（AI OS）：在安全隔离的沙箱中自主执行代码、管理文件、完成超复杂长程任务，作为自托管、多用户、本地优先的 AI Agent Loop Engineering 系统，支持桌面端+浏览器+移动端，让 DeepThink 成为你的全能数字助手；它不止让你使用 AI，更要让你从工具使用者进化为代码创造者，最终成长为可自我繁衍的超级智能体，让每家企业都拥有自己的 AI 超级研发团队，一起走向 AGI——现在就去 git clone，顺手点亮 Star：你收藏的不是一个仓库，而是通往 AGI 的入场券。🚀

DeepThink，开源企业级自主 Agent 超级智能体自进化平台，是从 Harness Engineering 到 Loop Engineering 范式的先行者，面向企业客户的新一代 AI 基础设施（AI Infra）。DeepThink 平台以多 Agent 协作框架为核心，融合 AI 自主编程（AI Coding）、自主进化（Self-Evolving）、全栈可观测性（Full-Stack Observability）、Bug 自修复闭环（Bug Auto-Fix Loop） 与 程序员-Agent 共生协作（Human-Agent Symbiosis），构建一个能持续学习、自我改进、最终成长为超级智能体的企业级 AI 系统。

DeepThink 项目开源代码（如果你觉得好玩，就一起来玩， Star 一下）：
Gitcode: https://gitcode.com/AIGeniusInstitute/deepthink
Github: https://github.com/AIGeniusInstitute/deepthink

---

1 引言

1.1 智慧零售是典型的信息物理系统

智慧零售并不是单一算法，而是由门店空间、商品与货架、感知设备、边缘计算、业务系统与人工运营共同构成的信息物理系统（Cyber-Physical System, CPS）。在无人便利店中，入口闸机、货架相机、称重台、电子价签（Electronic Shelf Label, ESL）、自助结算终端与云端账户系统需要在数秒内完成身份确认、商品关联、计价与扣款；在有人门店中，货架巡检机器人、缺货识别、价签同步与损耗管理则把视觉、运动控制与门店运营连接在同一闭环内。一次漏算可能形成损耗，一次误扣可能形成投诉，一次缺货未被发现可能造成销售损失，一次机器人路径错误可能形成安全事故。这些后果把验证问题从“模型精度是否更高”提升为“系统证据是否足以支撑上线决策”。

与自动驾驶或电力电子相比，智慧零售的验证对象有三个显著特点。第一，设备异构：相机、称重传感器、射频识别（Radio Frequency Identification, RFID）读写器、ESL、闸机、支付终端与自主移动机器人（Autonomous Mobile Robot, AMR）使用不同的接口、时钟与失效模式。第二，语义耦合：感知结果必须与商品、货架位置、购物事件、价格与支付状态对齐，单纯的目标检测精度不能代表结算正确率。第三，人因主导：顾客的遮挡、误放、拆包、儿童随行、群体同行与异常行为构成长尾，而这些行为难以用规则穷举。上述特点决定了智慧零售需要一种既能保留真实硬件与真实时序、又能可控注入场景与故障的验证环境。

1.2 纯数字仿真与纯门店实测的边界

纯数字仿真具有成本低、可重复、可并行和易注入故障的优点。场景引擎可以在数小时内遍历数千种货架布局与光照条件，强化学习与合成数据管线也可以在没有真实门店的情况下迭代模型。然而，纯数字仿真通常缺失四类真实因素：相机镜头与图像信号处理器（Image Signal Processor, ISP）引入的畸变、噪声、自动曝光与白平衡行为；称重传感器与 RFID 在温度、湿度、金属货架与相邻商品耦合下的漂移；边缘设备在散热受限、CPU 降频与多路视频解码时的排队与丢帧；门店 Wi-Fi、蜂窝网络与云端支付链路的抖动与分区。这些因素往往决定了系统在真实门店中的尾部表现。

纯门店实测保留了全部真实因素，却难以满足工程验证的三个基本要求。其一是可控性：门店不能为了测试而制造真实的漏扫、断网、闸机误锁或机器人碰撞。其二是可重复性：顾客流量、商品陈列、光照与网络状态每天都在变化，同一故障难以稳定复现。其三是经济性与隐私：闭店测试、人工扮演顾客、真实支付与摄像头采集都会产生成本与合规负担。更重要的是，门店实测通常只能回答“当前版本在现有条件下是否可用”，难以为下一次固件、模型或货架布局变更提供快速回归。

HIL 与半实物仿真位于两者之间。它把被验证的真实设备接入虚拟或可编程环境，用模型、回放或光学刺激替代暂时不需要真实的部分，从而在保留关键硬件与实时约束的同时获得场景控制权。汽车电子、航空航天与电力电子领域的实践已经证明，HIL 的价值不仅在于替代部分实车或实机试验，更在于把边界条件变成可编程、可重复、可审计的输入 [1,2,3,4,5]。相机在环（Camera-in-the-Loop）与原始数据注入进一步说明，感知系统的验证必须区分“保留光学与 ISP”“仅保留 ISP”“仅保留下游视频流”等不同注入层级 [31,32]。

1.3 落地中的五类断裂

尽管 HIL 的单点技术已经成熟，智慧零售项目在落地时仍经常出现“设备都能跑，结论不可信”的现象。本文将其归纳为五类断裂。

场景断裂。 场景库常以视频片段或图片集合为单位，而不是以门店、货架、商品、行为与业务规则为坐标。团队用“已经跑了多少条场景”衡量覆盖率，却没有回答“哪些风险区域仍未被覆盖”。当门店更换货架、调整陈列或引入新品类时，旧场景无法组合成新门店的有效试验，场景资产难以复用。

感知断裂。 回放视频绕过了镜头、图像传感器与 ISP，无法暴露镜头污染、自动曝光震荡、卷帘快门畸变与低照度噪声；合成图像又常常缺少真实传感器的噪点分布、色彩响应与压缩伪影。光学注入虽然保留真实相机，但受显示屏刷新率、亮度、色域、莫尔条纹与安装几何的限制。若不在试验记录中声明注入层级，感知结论就无法外推。

时间断裂。 相机、称重、RFID、ESL、闸机与支付终端各自计时，时间戳的物理含义没有统一约定。购物事件的关联窗口被重复计算或遗漏，端到端延迟只能靠人工秒表估计。在高客流或边缘设备降频时，排队延迟与丢帧会让同一场景产生完全不同的结论。对于“拿起商品—货架重量变化—购物车记账—扣款”这条链路，几百毫秒的错位就可能导致商品归属错误。

证据断裂。 试验报告通常只记录“通过/失败”，不记录当时的同步误差、丢帧率、模型哈希、固件版本、标定有效期与场景校验和。评审者无法判断一次通过是因为系统满足需求，还是因为试验平台在关键时刻丢失了数据。缺少可重放的证据，回归结果无法比较，故障也无法定位到感知、融合、系统还是运营层。

运营断裂。 实验室里没有补货、误放、促销堆头、临时纸箱、儿童、轮椅、购物车与店员走动；也没有交接班、盘点、异常退款与客诉处理。门店运营人员往往在系统上线后才第一次看到试验场景，导致“实验室通过、门店不可用”。若试验设计不把运营流程纳入回路，HIL 只能验证算法，无法验证业务。

1.4 本文思路与贡献

本文认为，智慧零售 HIL 的核心不是把更多设备接入仿真器，而是把保真度、时间、接口与证据显式化为可管理的工程对象。具体而言，本文把 HIL 视为一条“保真度可管理的证据流水线”：场景与行为提供输入分布，物理与感知提供刺激，真实设备提供被测对象，时间与网络提供因果约束，编排与证据提供有效性判定与可追溯记录。只有当一条试验的输出能够被重放、被归因、被门控时，它才可以进入上线决策。

本文提出 StoreLoop 五平面参考架构，并给出 F0–F4 五级保真度阶梯。StoreLoop 不追求把所有环节都做成最高保真度，而是要求在每一级明确“能回答什么问题、不能回答什么问题、何时可以晋级”。本文进一步把结算台、货架台与门店半实物台组织为三类可组合试验台，比较四类感知注入点的适用边界，并给出时间预算、事件关联、排队尾部与验收样本量的解析模型。最后，本文把有效性门控、蜕变关系、影子模式与灰度发布串成落地流程，并给出可复现的实验设计与记录模板。

本文的主要贡献如下。

• 提出 StoreLoop 五平面参考架构，明确场景、物理与感知、真实设备、时间与网络、编排与证据五个平面的职责、输入输出与五类契约，为智慧零售 HIL 提供统一的组织方式。
• 提出 F0–F4 保真度阶梯，给出每一级的在环对象、可回答问题、不可回答问题与退出条件；把保真度表示为物理、感知、行为、时间与运营五个维度的约束向量，而不是单一分数。
• 设计结算台、货架台与门店半实物台三类试验台，给出光学、原始传感器、视频流与元数据四类注入点的对比与选择规则，并说明光学注入的刷新率、曝光与卷帘快门约束。
• 建立端到端时间预算、购物事件关联、排队尾部与验收样本量的解析模型，给出有效性门控与三值判定规则，使“试验是否有效”成为可计算、可审计的条件。
• 给出场景采样、故障注入、证据清单、影子模式与灰度发布的落地 playbook，并设计可复现的实验矩阵与指标体系；所有实测数值均留待后续填充，不报告未经测量的结果。

1.5 结构安排

第 2 节按技术流派梳理 HIL、智慧零售感知、数字孪生与测试方法的相关工作，并说明本文差异。第 3 节给出问题形式化、StoreLoop 架构、保真度阶梯、模块细节、时间与证据模型以及复杂度与统计性质。第 4 节给出实验设计、主结果占位、消融方案、分析计划与局限。第 5 节讨论适用边界、组织、隐私、安全、标准化与经济性。第 6 节总结全文。附录给出命题证明、排队与样本量推导、场景与运行清单示例、标定清单、试验记录模板与术语表。

2 相关工作

2.1 HIL 与半实物仿真的工程传统

汽车领域的 HIL 实践把实时发动机模型、输入输出接口与真实电子控制单元组成闭环，用台架复现难以在实车上稳定复现的工况，并系统讨论实时性、模型精度与接口误差对结论的影响 [1]。Fathy 等从汽车工程视角综述了 HIL 的体系结构、成本收益与适用范围，指出 HIL 的价值在于把控制器的边界条件变成可编程、可重复的输入 [2]。电力电子领域的功率硬件在环（Power Hardware-in-the-Loop, PHIL）进一步把真实功率设备接入实时电网模型，接口算法、功放带宽与延时共同决定闭环稳定性与精度 [3,4]。实时仿真技术综述则说明，实时性不是单一指标，而是步长、输入输出延迟、求解器稳定性与硬件资源的联合约束 [5]。

感知系统的在环验证形成了另一条技术路线。Reway 等提出面向视觉高级驾驶辅助系统的相机在环测试方法，把真实汽车相机接入合成场景，用于验证目标检测算法 [31]。Hager 与 Allen 则把相机、雷达与激光雷达的原始数据注入、故障测试与闭环场景仿真组织为自动化 HIL 环境，强调直接传感器数据注入、回放与运行时修改能力 [32]。这些工作为智慧零售提供了可借鉴的注入层级与故障注入思想，但其被测对象通常是单一控制器或单一相机。智慧零售的被测对象是异构边缘设备、业务规则与执行机构组成的链路，评价对象还包括损耗、缺货、排队与客诉等业务指标，因此需要更高层的场景资产、证据契约与有效性门控。

2.2 智慧零售感知与自动结算

自动结算（Automatic Checkout, ACO）是智慧零售中最受关注的任务之一。RPC（Retail Product Checkout）数据集包含 83,739 张图像与 200 个细粒度商品类别，其中 53,739 张为单品示例图、30,000 张为结算场景图，并提供购物清单、点标注与检测框三级监督 [11]。SKU（Stock Keeping Unit，库存量单位）是零售商品管理的基本单元。SKU-110K 数据集面向密集货架检测，包含 11,762 张货架图像与约 173 万个标注框，平均每张图像约 147 个目标 [12]。这两个数据集推动了商品识别与密集检测的研究，但它们主要评价模型在静态图像上的精度，不能直接回答门店级系统在真实时序、真实硬件与真实业务规则下是否可用。

系统层面的工作开始关注多传感器融合与部署约束。Grab 把关键点姿态跟踪、人脸跟踪、手臂动作关联与相机、称重、RFID 的概率融合组织为无收银台购物系统，并在试点门店中报告了在高比例混淆动作下仍保持较高精确率与召回率的结果 [13]。Paolanti 等把移动机器人、视觉与文本信息结合，用于货架缺货与促销活动的巡检 [14]。Milella 等用深度相机估计货架在架率，把三维信息引入缺货判断 [15]。Xu 等则给出基于物联网与人工智能的无人零售店设计，把商品识别、门禁与结算组织为端到端系统 [16]。这些工作证明智慧零售可以被工程化，但其验证多依赖单店试点或离线数据，缺少可复用的半实物试验台与有效性判定方法。

本文与上述工作的区别在于：不提出新的商品识别模型，也不报告某家门店的试点精度；本文关注的是如何构建一个可控制、可重放、可审计的验证环境，使感知、融合、业务与运营问题能够在门店变更前被稳定暴露。本文把 RPC 与 SKU-110K 视为感知组件的测试素材，而不是门店级结论的证据来源。

2.3 数字孪生、场景仿真与 Sim-to-Real

数字孪生强调物理实体、虚拟模型、数据与服务之间的持续同步。Tao 等把数字孪生概括为制造、运维与全生命周期管理中的闭环，并讨论模型、数据与服务的协同 [8]。在智慧零售中，数字孪生的价值主要不是三维可视化，而是提供经过标定的门店布局、货架陈列、相机位姿、光照与网络拓扑，使试验场景能够与真实门店保持一致。

场景仿真与 Sim-to-Real 研究提供了生成与迁移的方法。CARLA 提供城市道路、车辆动力学与多传感器仿真 [6]，SUMO 提供大规模微观交通流仿真 [7]。Zhao 等综述了深度强化学习中的域随机化、域适应、模仿学习与知识蒸馏，指出仿真与真实之间的差距来自动力学、感知、执行器与噪声等多个层面 [9]。Tobin 等通过域随机化缩小仿真与真实视觉的差距 [10]。在人的行为建模方面，社会力模型用吸引力与排斥力描述行人运动 [17]，生成式智能体则尝试用大语言模型驱动具有记忆与计划能力的虚拟角色 [18]。

本文与数字孪生和 Sim-to-Real 工作的区别在于：本文不把“更逼真的渲染”作为目标，而把孪生体视为需要标定、版本化与门控的测试资产；本文不假设仿真中的策略可以直接迁移，而是用保真度阶梯把迁移问题分解为物理、感知、行为、时间与运营五个可分别验证的维度。生成式智能体在本文中只作为场景脚本的候选生成器，必须经过模式校验、物理可行性检查、人工审阅与冻结，不能直接进入执行回路。

2.4 测试方法论：覆盖率、蜕变关系与实时性

机器人自治系统的测试综述指出，定量测试技术占主导，但覆盖率指标使用不足，模型化测试与运行时监控工具仍然缺乏，工业规模评估较少 [19]。这与智慧零售的现状相似：团队可以报告模型精度，却难以说明系统覆盖了哪些风险区域。蜕变测试通过检查输入与输出之间应当保持的关系来缓解“正确结果难以判定”的测试预言问题（oracle problem）[20]。例如，向购物篮加入一件商品，账单数量不应减少；交换扫描顺序，总价不应变化。此类关系不能证明系统完全正确，但可以在缺少真值的情况下发现一类一致性错误。

实时系统的经典结果为固定优先级调度提供了利用率界与可调度性分析基础 [21]。排队论为结算通道的到达、服务与等待时间提供了建模工具 [22]。统计功效分析则为验收试验提供了样本量公式 [23]。本文把这些工具组合到零售场景：用实时调度与时间同步约束确定端到端预算，用排队模型确定峰值容量下的测试负载，用功效分析确定影子模式与灰度发布所需的门店天数。

2.5 边缘计算、时间同步与互操作标准

智慧零售的感知与决策大量发生在边缘侧。边缘计算把计算、存储与网络能力推向数据源头，以降低延迟、减少回传带宽并有助于缓解隐私风险 [24]。RFID 为商品身份与库存提供了非接触式识别手段，但其读取率受标签、天线、金属与液体影响 [25]。精密时钟协议（Precision Time Protocol, PTP）为分布式设备提供亚微秒级同步能力，并支持边界时钟、透明时钟与硬件时间戳 [26]。时间敏感网络（Time-Sensitive Networking, TSN）通过时间感知调度为确定性流量提供保障 [27]。功能模型接口（Functional Mock-up Interface, FMI）为模型交换与协同仿真提供统一容器 [28]，ASAM 开放仿真接口（Open Simulation Interface, OSI）为感知真值与传感器数据提供 Protobuf 接口 [29]，机器人操作系统 2（Robot Operating System 2, ROS 2）为机器人节点提供通信与生命周期管理 [30]。

这些标准解决了“设备能不能互操作”“模型能不能交换”的问题，但没有直接回答“交换后的试验是否有效”。本文把标准映射到 StoreLoop 的五类契约，并在契约之上增加标定有效期、时间质量、资源饱和度与场景校验和等门控条件，使互操作标准成为证据链的一部分，而不是孤立的接口声明。

2.6 小结

表 1 从实时闭环、感知注入、人的行为、业务语义、有效性门控与门店级组织六个维度，对代表性工作进行定性对比。符号“●”表示系统覆盖，“◐”表示部分覆盖，“○”表示基本未覆盖。该表为作者基于公开文献的定性判断，不作为定量评价。

表 1 代表性研究与本文的覆盖对比（定性）

研究方向	代表工作	实时闭环	感知注入	人的行为	业务语义	有效性门控	门店级组织
汽车 HIL	Isermann 等 [1]、Fathy 等 [2]	●	◐	○	○	◐	○
功率 HIL	Lauss 等 [3]、Ren 等 [4]	●	○	○	○	◐	○
相机在环	Reway 等 [31]、Hager 与 Allen [32]	●	●	○	○	◐	○
自动结算	RPC [11]、SKU-110K [12]、Grab [13]	◐	○	◐	◐	○	◐
零售机器人	Paolanti 等 [14]、Milella 等 [15]	◐	◐	◐	◐	○	◐
无人店系统	Xu 等 [16]	◐	◐	○	●	○	●
数字孪生	Tao 等 [8]	◐	◐	○	◐	○	◐
本文 StoreLoop（设计目标）	—	●	●	●	●	●	●

需要说明的是，表中“本文 StoreLoop”一行表示设计覆盖，不代表该框架已在真实门店完成端到端验证；其有效性仍需通过第 4 节的实验设计检验。

3 方法

3.1 问题形式化

本文把一家门店在时间 $t$ 的状态记为 $x(t)$，其中包括顾客与机器人的位姿、商品在货架上的位置与数量、货架重量、价签显示、闸机状态、边缘节点负载与网络状态。门店的演化可以写为

$$x(t+1)=f(x(t),u(t),w(t)),$$

其中 $u(t)$ 是系统动作（例如开门、扣款、点亮价签、机器人移动），$w(t)$ 是外部扰动（顾客行为、光照变化、网络抖动、商品被误放）。传感器观测为

$$o(t)=h(x(t),u(t),v(t)),$$

其中 $v(t)$ 是传感器噪声与失效。购物事件记为

$$e_i=(typ{e}_i,acto{r}_i,ite{m}_i,lo{c}_i,t_i),$$

其中 $typ{e}_i$ 可以是进入、拿起、放回、扫描、支付、离开、异常停留等；$acto{r}_i$ 是顾客或机器人；$ite{m}_i$ 是商品；$lo{c}_i$ 是货架或区域；$t_i$ 是事件在统一时间基上的时刻。系统的业务决策 $a(t)$ 由感知、融合与规则共同产生，评价指标记为向量 $y$，包括结算准确率、商品级精确率与召回率、事件关联错误率、端到端延迟、缺货识别延迟、损耗率、可用性与单位试验成本。

一次试验运行记为

$$\tau =(s,d,\theta ,f),$$

其中 $s$ 是场景资产，$d$ 是被测设备配置，$\theta$ 是随机种子与参数，$f$ 是故障注入计划。运行产生轨迹 $\xi =R(\tau )$，并由评价函数得到 $y=M(\xi )$。本文不把“运行完成”等同于“试验有效”，而是引入三值有效性判定

V ( ξ ) ∈ { valid , uncertain , invalid } . V(\xi)\in\{\text{valid},\text{uncertain},\text{invalid}\}. V(ξ)∈{valid,uncertain,invalid}.

只有 valid 运行进入指标统计与覆盖率计算；uncertain 运行进入人工复核与调试队列；invalid 运行触发根因分析，但不得被解释为通过或失败。

保真度记为五维向量

$$\varphi =({\varphi }_{phys},{\varphi }_{perc},{\varphi }_{behav},{\varphi }_{time},{\varphi }_{ops})\in [0,1{]}^5,$$

分别对应物理、感知、行为、时间与运营五个维度。本文不建议把 $\varphi$ 压成一个加权分数，因为不同试验对维度的要求不同：结算算法回归可能更关心感知与时间，门店布局变更可能更关心物理与行为，支付规则变更可能更关心运营与业务语义。更合理的做法是把 $\varphi$ 写成约束：

max ⁡ s ∈ S  Coverage ( s ) s.t. ϕ k ( s ) ≥ ϕ k min ⁡ ,   k ∈ { p h y s , p e r c , b e h a v , t i m e , o p s } , \max_{s\in S}\ \text{Coverage}(s)\quad \text{s.t.}\quad \phi_k(s)\ge \phi_k^{\min},\ k\in\{phys,perc,behav,time,ops\}, s∈Smax​ Coverage(s)s.t.ϕk​(s)≥ϕkmin​, k∈{phys,perc,behav,time,ops},

其中 $S$ 是候选场景集合。该形式化把“保真度”从宣传指标变成试验设计的约束条件。

真实门店与 HIL 的指标差距记为

$$\Delta =y^{field}-y^{HIL}.$$

在一阶近似下，本文把差距分解为

$$\Delta \approx {\Delta }_{phys}+{\Delta }_{perc}+{\Delta }_{behav}+{\Delta }_{time}+{\Delta }_{ops}+\epsilon ,$$

其中 $\epsilon$ 是交互项与未建模因素。该分解不是严格的因果识别，而是为消融设计提供坐标：F0 到 F1 主要改变系统链路与时间约束，F1 到 F2 主要改变传感器物理特性，F2 到 F3 主要改变门店物理与多设备耦合，F3 到 F4 主要改变真实顾客与运营分布。通过逐级比较，可以把总差距归因到相对可控的维度。

本文作以下假设。A1：试验台具备统一时间基，关键设备支持硬件时间戳或可被外部触发。A2：货架、称重与 RFID 提供可复核的真值或半真值。A3：场景资产与设备配置有版本号，可被重放。A4：合成顾客与机器人行为经过审阅，不包含真实个人数据。A5：涉及支付、闸机与机器人的试验在沙箱或受控模式下进行，不直接作用于真实顾客与真实资金。

表 2 符号表

符号	含义	备注
$x(t)$	门店物理与业务状态	顾客、商品、设备、网络
$u(t)$	系统动作	扣款、开门、价签更新、机器人移动
$w(t)$	外部扰动	顾客行为、光照、网络、误放
$o(t)$	传感器观测	图像、重量、RFID、价签回执
$e_i$	购物事件	类型、主体、商品、位置、时间
$\tau$	一次试验	场景、设备、参数、故障计划
$\xi$	运行轨迹	日志、指标、证据
$V(\xi )$	有效性判定	valid / uncertain / invalid
$\varphi$	保真度向量	物理、感知、行为、时间、运营
$\Delta$	保真度差距	门店指标减 HIL 指标
$L$	端到端延迟	从事件到业务动作
$D$	延迟截止期	业务可接受上限
$e_{sync}$	同步误差	设备时钟相对统一时间基
$W$	事件关联窗口	购物事件与支付事件的允许间隔
$\lambda ,\mu ,q$	到达率、服务率、通道数	结算排队模型
$n$	每臂样本量	验收试验
${\rho }_{icc}$	组内相关系数	门店/日聚类设计

3.2 StoreLoop 总体架构

StoreLoop 由五个平面组成，如图 1 所示。平面之间通过契约连接，而不是通过隐式的文件路径或口头约定连接。每个平面都可以独立替换：场景平面可以从脚本切换到生成式智能体，感知平面可以从视频回放切换到光学注入，设备平面可以从单一相机切换到整店边缘集群，时间平面可以从软件时间戳切换到 PTP 硬件时间戳，证据平面则始终保留统一的运行清单与门控结果。

+----------------------------------------------------------------------------------+
|  P5 编排与证据平面                                                                 |
|  场景调度器 | 设备农场 | 故障调度器 | 有效性门控 | 证据仓库 | 重放器                  |
+-----------------------------+----------------------------+-----------------------+
                              ^ 指标 / 证据                  | 命令 / 配置
                              |                              v
+-----------------------------+------------+   +-----------------------------------+
|  P1 场景与行为平面                        |   |  P3 真实设备在环平面                |
|  门店布局 / 货架图 / SKU 主数据           |   |  相机 / 称重 / RFID / ESL / 闸机    |
|  顾客脚本 / 随机策略 / 异常行为           |-->|  边缘盒 / 支付沙箱 / AMR / 机械臂   |
|  故障计划 / 评价预言者                    |   |  固件 / 驱动 / 模型 / 资源限制       |
+-----------------------------+------------+   +-------------------+---------------+
                              | 场景 / 刺激                       | 观测 / 动作
                              v                                   v
+----------------------------------------------------------------------------------+
|  P2 物理与感知平面                                                                 |
|  1:1 货架 / 称重台 / RFID 隧道 / ESL / 闸机 | 显示屏 / 投影 / 光学暗箱 / 传感器注入   |
+----------------------------------------------------------------------------------+
                              ^ 统一时间 / 确定性网络
                              |
+----------------------------------------------------------------------------------+
|  P4 时间与网络平面                                                                 |
|  PTP 主时钟 | 边界时钟 | 硬件时间戳 | TSN / 流量整形 | 延迟 / 抖动 / 丢包 / 分区     |
+----------------------------------------------------------------------------------+

图 1 StoreLoop 五平面参考架构

五个平面的职责与契约如表 3 所示。契约的作用是让跨层约束可以被单独验证：场景契约保证输入分布与版本可追溯，感知契约保证刺激的物理含义与注入层级被声明，设备契约保证被测对象的固件与模型可识别，时间契约保证事件顺序与延迟预算可计算，证据契约保证每次运行可重放、可审计。

表 3 StoreLoop 五平面职责与契约

平面	职责	关键输入	关键输出	契约
P1 场景与行为	定义门店、商品、顾客、故障与评价	门店图纸、货架图、SKU 主数据、行为库	场景实例、事件真值、评价预言者	C1 场景契约：编号、版本、校验和、风险标签、必需覆盖项
P2 物理与感知	提供物理刺激与传感器观测	场景实例、标定参数、注入配置	图像、重量、RFID、价签、闸机信号	C2 感知契约：注入层级、几何、光度、延迟、噪声模型
P3 真实设备在环	承载被测系统	设备配置、固件、模型、接口	决策、日志、资源指标、失败码	C3 设备契约：硬件型号、固件哈希、模型哈希、资源上限、接口版本
P4 时间与网络	提供统一时间与确定性通信	时间源、网络拓扑、损伤配置	时间戳、时延/抖动/丢包指标	C4 时间契约：时钟源、同步误差上限、采样抖动、网络服务等级
P5 编排与证据	调度、注入、判定、归档、重放	场景、设备、时间、故障计划	运行清单、门控结果、指标、证据包	C5 证据契约：种子、哈希、标定证书、原始日志、判定理由

平面之间存在两条流。第一条是刺激流：P1 生成场景与行为，P2 将其转换为物理或感知刺激，P3 接收刺激并产生观测与决策。第二条是证据流：P4 为所有事件打上统一时间戳，P5 收集日志、资源指标、门控条件与指标，形成可重放的证据包。两条流必须使用同一时间基；否则刺激流中的因果关系无法在证据流中被复核。

3.3 保真度阶梯 F0–F4

本文把智慧零售 HIL 的保真度分为五级。阶梯不是成熟度等级，也不意味着高级别自动优于低级别；每一级都要重新证明其有效性，且每一级都有明确“不能回答”的问题。表 4 给出各级的在环对象、可回答问题、不可回答问题与退出条件。

表 4 保真度阶梯 F0–F4

级别	在环对象	可回答的问题	不能回答的问题	退出条件
F0 纯数字	模型、规则、合成数据	算法逻辑、规则分支、接口契约、离线精度	光学、ISP、传感器漂移、边缘资源竞争、真实时序	单元测试与离线回归通过；关键分支覆盖
F1 回放 HIL	真实边缘设备 + 录制视频/传感器流	解码、推理、融合、业务链路、吞吐与资源上限	镜头与 ISP 物理、真实光照、真实顾客行为	回放结果可重复；资源余量与丢帧率满足门控
F2 传感 HIL	真实相机/称重/RFID + 光学或原始数据注入	光学、ISP、曝光、噪声、称重漂移、RFID 耦合	整店多相机几何、顾客长尾、运营流程	标定有效；注入保真度达到声明；故障可复现
F3 门店半实物	1:1 货架/通道/闸机 + 真实边缘集群 + 合成顾客/AMR	多相机跟踪、跨设备事件关联、网络损伤、系统集成	真实顾客分布、真实运营、长期漂移、真实损耗	端到端门控通过；场景覆盖达到风险门槛
F4 影子模式	真实门店 + 真实顾客 + 候选系统只读运行	真实分布、真实运营、候选系统与生产系统的一致性	候选系统真实动作的因果效果、真实资金与安全风险	影子期指标非劣；分歧样本可解释；回滚预案就绪

F0 到 F3 是“把真实逐级接入”的过程，F4 是“把真实分布接入但不执行动作”的过程。很多团队把 F4 误称为“线上测试”，这是不准确的：影子模式中候选系统只产生决策日志，不触发扣款、闸机或机器人动作，因此它回答的是“候选系统在真实输入下会做什么”，而不是“候选系统真的执行后会发生什么”。后者需要灰度发布与受控实验。

保真度阶梯的核心用途是阻止两类错误。第一类是“低级别结论外推”：用 F1 的回放结果证明相机在低照度下可用。第二类是“高级别过度投入”：为一个只涉及业务规则的变更搭建整店半实物环境。每级退出条件应当写入项目计划，并由测试负责人、门店运营与业务负责人共同签署。

3.4 场景与行为平面

场景资产是 StoreLoop 的输入分布。一个场景实例至少包含六类信息：门店几何与货架图、SKU 主数据与价格、顾客与机器人行为脚本、光照与网络条件、故障计划、评价预言者。场景资产必须有编号、版本、校验和与风险标签；任何被引用的外部文件也必须有哈希。场景校验和进入运行清单，确保“同一场景”在不同时间、不同设备上可被识别。

顾客行为采用分层表示。第一层是行程（trip）：进入、选择使命、离开。第二层是任务（mission）：购买、比较、退货、闲逛、寻找店员。第三层是路径（path）：浏览、接近、转弯、避让、排队。第四层是动作（action）：拿起、查看、放回、放入购物袋、扫描、支付。第五层是异常（exception）：误放、掉落、遮挡、群体分离、未付款离开、重复进入。每一层都暴露可采样参数，例如步行速度、停留时间、购物篮大小、同行人数、对货架的遮挡概率与对设备的交互意愿。表 5 列出本文使用的最小行为原语集合，实际项目可以按业态扩展。

表 5 场景行为原语

层级	原语	关键参数	对应风险
行程	进入、使命选择、离开	到店率、目的分布、停留时长	入口拥堵、误识别
任务	购买、比较、退货、闲逛	任务完成率、比较次数	漏扫、错关联
路径	浏览、接近、转弯、避让、排队	速度、路径曲率、社交距离	遮挡、跟踪丢失、排队超时
动作	拿起、查看、放回、放入、扫描、支付	手臂轨迹、停留、商品姿态	商品归属错误、重复扫描
异常	误放、掉落、遮挡、群体分离、未付款离开	发生概率、持续时间、涉及人数	损耗、误扣、闸机误判

场景生成采用三种方式的组合。第一种是脚本化场景，用于回归测试与法规审计：步骤、时间与预期结果完全确定。第二种是随机策略，用于覆盖行为参数空间：用社会力模型或简化的行人动力学生成路径，用概率模型采样动作与异常 [17]。第三种是生成式智能体辅助，用于提出长尾脚本：大语言模型根据门店语义与风险描述生成候选行为序列 [18]。生成式输出不能直接执行，必须经过四道关卡：模式校验（字段、类型、取值范围）、物理可行性检查（路径不穿墙、商品可被拿起、时间顺序合理）、人工审阅（门店运营与测试负责人）、冻结版本（写入场景库并计算校验和）。

场景采样不应追求“条数最多”。本文建议把场景分为三类。第一类是强制场景（mandatory）：安全、支付、隐私与法规相关，必须每次回归执行。第二类是组合覆盖场景：对门店布局、光照、遮挡、商品密度、人群规模等参数做 $t$ 元组合覆盖，保证任意 $t$ 个参数的取值组合至少出现一次。第三类是风险加权长尾场景：按风险评分 $r_i$ 采样，概率为

$$p_i=\frac{\exp (\kappa r_i)}{{\sum }_{j\in S}\exp (\kappa r_j)},$$

其中 $\kappa \ge 0$ 控制长尾权重，$\kappa =0$ 退化为均匀采样。风险评分可以由严重度、发生频率与可检测性相乘得到，类似失效模式与影响分析中的风险优先数；评分必须由业务、运营与安全人员共同评审，不能只由算法团队决定。

覆盖率记为

$$C_{eff}=\sum _{b\in B}{w}_{b}1[n_b>0],$$

其中 $B$ 是风险分箱集合，$w_b$ 是分箱权重，$n_b$ 是落入该分箱的有效运行数。强制分箱必须满足 $n_b>0$，否则整个试验批次判为未覆盖。该定义把“场景条数”替换为“风险分箱覆盖”，可以避免用大量相似场景制造覆盖率幻觉。

3.5 物理与感知平面

物理与感知平面把场景转换为真实设备可以接收的刺激。本文设计三类试验台：结算台（T-A）、货架台（T-B）与门店半实物台（T-C），如图 2 所示。三类试验台共享同一套场景资产与证据格式，但保真度与成本不同。

T-A 结算台
  +------------------+      +------------------+      +------------------+
  | 相机阵列 / 深度相机 | ---> | 边缘计算盒        | ---> | POS / 支付沙箱    |
  +------------------+      +------------------+      +------------------+
          ^                         |
          | 光学 / 视频 / 原始数据注入 |
  +------------------+      +------------------+
  | 显示屏 / 光学暗箱  | <--- | 场景与行为引擎    |
  +------------------+      +------------------+

T-B 货架台
  +------------------+      +------------------+      +------------------+
  | 货架 / 称重 / ESL  | <--> | 边缘网关 / RFID   | <--> | 门店业务服务      |
  +------------------+      +------------------+      +------------------+
          ^
          | 机械臂 / 人工代理 / 投影顾客
  +------------------+
  | 行为脚本与故障计划 |
  +------------------+

T-C 门店半实物台
  +--------------------------------------------------------------+
  | 1:1 货架 / 通道 / 闸机 / 收银区 / 补货区                       |
  | 真实相机集群 / 边缘节点 / Wi-Fi / PTP / 支付沙箱 / AMR          |
  +--------------------------------------------------------------+
          ^                                   ^
          | 投影或屏幕顾客 / 机械臂 / 人偶       | 网络损伤 / 时钟偏移
  +------------------+                +------------------+
  | 场景与行为引擎    |                | 时间与网络损伤台  |
  +------------------+                +------------------+

图 2 三类半实物试验台布局

T-A 结算台用于验证商品识别、称重融合、扫描顺序、重复扫描、销售点（Point of Sale, POS）与支付沙箱。它的优势是成本低、迭代快、可以把相机与边缘盒真实接入；局限是缺少整店多相机几何与顾客路径。T-B 货架台用于验证缺货、错放、价签同步、RFID 读取率与称重漂移。它可以用机械臂或人工代理模拟拿起与放回，适合做高重复的故障注入。T-C 门店半实物台用于验证多相机跟踪、跨设备事件关联、网络损伤、闸机逻辑与 AMR 避障。它的成本最高，应保留给系统集成与上线前门控，而不是日常算法迭代。需要说明的是，屏幕或投影顾客适合验证二维外观、人流密度与部分遮挡，不适合验证三维几何、真实体积与多相机视差；后者应使用人偶、机械臂或可移动实体代理。

感知注入有四个层级，如表 6 所示。选择注入层级的原则不是“越真实越好”，而是“被测失效模式是否位于该层级”。如果目标是验证 ISP 的自动曝光与降噪，最好保留真实相机与光学路径；原始传感器注入可以验证部分 ISP 行为，但需要传感器模型与曝光回传。如果目标是验证边缘盒的解码、推理与业务链路，视频流注入更可控、更便宜；如果目标是验证融合规则，元数据注入即可。

表 6 四类感知注入点对比

注入点	保留光学	保留 ISP	可注入的典型故障	主要局限	适用场景
光学注入（屏幕/投影/暗箱）	是	是	光照、遮挡、镜头污染、色偏、运动模糊	显示屏刷新、亮度、色域、莫尔条纹、安装几何	相机 + ISP + 光照联合验证
原始传感器注入	否	是	噪声、坏点、Bayer 图案、曝光/增益、卷帘快门	需要传感器模型与接口协作；无镜头与镜片污染	ISP、边缘推理、低照度算法
视频流注入	否	否	压缩、丢帧、分辨率、延迟、花屏	绕过相机与 ISP；无法验证光学	门店规模回归、网络与解码链路
元数据/事件注入	否	否	业务规则、重复事件、错序、缺失、价格不一致	不验证感知；容易“自证正确”	融合、结算、闸机、支付规则

光学注入需要满足三个条件。第一，显示刷新与相机曝光同步。若显示刷新周期为 $T_{disp}$、相机帧周期为 $T_{cam}$，建议使用整数倍关系

$$f_{disp}=m{f}_{cam},m\in {\mathbb{Z}}^{+},$$

并通过硬件触发或相位锁定避免拍频。若 $T_{disp}$ 与曝光时间 $T_{exp}$ 可比，滚动快门会在同一帧内采集到不同显示相位，形成亮度条纹。第二，显示亮度与色域要覆盖测试所需的动态范围；低照度与高动态范围场景应使用光学暗箱、可调光源与中性灰卡，而不是普通显示器。第三，卷帘快门的行读出时间 $T_{rs}$ 与目标运动速度 $v$ 必须满足

$$v{T}_{rs}\le {\delta }_{px},$$

其中 ${\delta }_{px}$ 是允许的像素位移。若不满足，运动目标会产生几何倾斜，可能被误判为相机标定误差。

原始传感器注入保留 ISP，但绕过镜头与图像传感器。它需要传感器模型描述 Bayer 图案、黑电平、镜头阴影、光子散粒噪声、读出噪声、曝光与增益、卷帘快门与坏点。若只注入 YUV 或压缩视频，则 ISP 的自动曝光、自动白平衡与降噪都不在回路内，无法验证这些模块的失效。原始注入通常需要与相机供应商协作，通过 MIPI、GMSL、FPD-Link 或 LVDS 等接口注入，并保留 I2C 回传通道以模拟曝光与增益控制。其工程难点是接口兼容性与实时性：注入延迟超过一帧就会导致丢帧，进而改变被测系统的时序。

视频流注入通过 RTSP、ONVIF 或自定义协议把场景视频送入边缘盒。它最适合门店规模的回归测试，因为它可以在不移动相机的情况下复用已有设备，并且容易施加网络损伤。但它绕过了相机与 ISP，因此不能用于验证镜头污染、自动曝光震荡、低照度噪声与卷帘快门。元数据注入则完全跳过感知，只验证业务规则；它适合做高频回归，但必须与至少一次感知级试验配对，否则容易产生“规则正确、系统不可用”的错觉。

物理与感知平面需要持续标定。相机内参、外参、畸变、色彩响应、白平衡与曝光曲线要在每次试验批次前检查；货架称重要做零点、量程与温度漂移检查；ESL 要记录刷新延迟与失败回执；RFID 要记录读取率、天线功率与相邻商品干扰；网络要记录往返时延、抖动、丢包与带宽。标定结果不是一次性文档，而是带有效期与不确定度的资产。标定过期、标定不确定度超过阈值或环境条件超出标定范围时，相关试验应被判为 uncertain 或 invalid。

3.6 时间与网络平面

时间是智慧零售 HIL 的因果骨架。一次“拿起商品”的事件可能同时被货架相机、称重传感器、RFID 与购物车相机观测到；如果这些观测的时间戳不在同一时间基上，融合算法就会把同一事件拆成多个事件，或把不同事件合并。本文要求关键设备使用统一时间基：PTP 主时钟提供参考，边界时钟延伸到边缘节点，相机与传感器尽量使用硬件时间戳；不支持硬件时间戳的设备必须记录软件时间戳的获取位置与不确定度 [26]。对于需要确定性传输的控制流量，可使用 TSN 的时间感知调度 [27]；对于普通视频流，则记录实际的时延与抖动分布。

端到端延迟预算写为

$$L=L_{cap}+L_{isp}+L_{enc}+L_{net}+L_{queue}+L_{infer}+L_{fuse}+L_{act}+L_{sync},$$

其中 $L_{cap}$ 是采集与曝光，$L_{isp}$ 是图像处理，$L_{enc}$ 是编码，$L_{net}$ 是传输，$L_{queue}$ 是排队，$L_{infer}$ 是推理，$L_{fuse}$ 是融合，$L_{act}$ 是业务动作，$L_{sync}$ 是同步误差。业务截止期记为 $D$，验收要求为

$$P(L\le D)\ge 1-ϵ,$$

其中 $ϵ$ 是允许的超时比例。对于结算链路，$D$ 通常由用户体验与排队策略决定；对于闸机与机器人安全链路，$D$ 必须由安全分析给出，不能沿用结算链路的经验值。

购物事件关联是时间平面最容易被忽视的问题。设真实拿起事件与支付事件的时间差为 $|t_p^{\ast }-t_b^{\ast }|$，两个设备的同步误差分别为 $e_p$ 与 $e_b$，则观测时间差满足

$$|t_p^{obs}-t_b^{obs}|\le |t_p^{\ast }-t_b^{\ast }|+e_p+e_b.$$

若业务要求真实时间差不超过 $W/2$ 时才允许关联，则只要

$$e_p+e_b\le \frac{W}{2},$$

观测时间差就不会超过 $W$。该条件给出了同步误差的充分上界，但不是必要条件；它假设时间戳在事件源头获取，且处理延迟不改变时间戳。若时间戳在消息到达边缘节点时才生成，则必须把排队与传输延迟计入 $e_p$ 与 $e_b$。附录 A 给出证明与推广。

网络平面需要支持可控损伤。试验台应能注入固定延迟、随机抖动、丢包、乱序、带宽限制、短时分区与时钟偏移，并记录损伤计划与实际执行情况。损伤计划必须是确定性的：同一场景、同一随机种子与同一损伤配置应产生相同的消息序列；若使用硬件损伤仪，应记录其固件版本与配置哈希。对于依赖云端的支付与账户服务，应使用沙箱或幂等代理，避免真实扣款，同时保留与生产一致的接口语义与超时行为。

3.7 编排与证据平面

编排与证据平面负责把场景、设备、时间与故障组织成一次可重放的运行。调度器根据场景优先级、设备可用性与时间预算排队；设备农场负责固件、模型与配置的部署；故障调度器按时间线注入故障；证据收集器记录原始日志、资源指标、网络指标、时间质量与门控结果；门控评估器给出三值判定；重放器在相同配置下复现运行。

有效性门控是本文与“跑完即通过”做法的关键区别。门控规则如表 7 所示。每条规则都必须有明确的阈值、数据来源与判定动作；阈值应由业务、运营与安全人员共同确定，并在场景库中版本化。门控不是越严格越好：过严会降低有效运行产出，过松会让脏数据进入统计。本文建议先用历史数据估计阈值，再用小批量试验校准，最后冻结为验收基线。

表 7 有效性门控规则

条件	判定	动作	证据
时钟同步误差超过 $e_{\max }$	invalid	停止批次，检查时间源与网络	PTP 偏移、时间质量日志
丢帧率超过 $d_{\max }$	invalid	降低负载或检查解码链路	采集/解码计数、时间戳
标定过期或不确定度超限	invalid	重新标定后重跑	标定证书、有效期、不确定度
边缘资源饱和度超过 ${\rho }_{\max }$	uncertain	人工复核，判断是否为容量问题	CPU/内存/温度/降频日志
模型或固件哈希与清单不一致	invalid	重新部署，禁止进入统计	设备清单、哈希
场景校验和不一致	invalid	恢复场景版本	场景库、依赖哈希
故障计划未按时间线执行	invalid	检查故障调度器	故障执行日志
真值不完整或不可复核	uncertain	人工标注或剔除	真值来源、覆盖范围
以上全部通过	valid	进入指标统计与覆盖率	完整证据包

门控采用三值逻辑：valid 进入统计；uncertain 进入人工复核，不得被默认当作通过；invalid 被排除，但必须记录排除原因与数量，防止“只报告有效运行”带来的选择偏差。每次批次结束后，应同时报告有效运行数、无效运行数、无效原因分布与有效运行占比。若有效运行占比过低，说明试验台本身不稳定，应先修平台，而不是继续扩大样本量。

除了门控，本文建议使用蜕变关系补充预言者。智慧零售的很多业务不变量是明确的，例如：加入一件商品，账单数量不应减少；交换扫描顺序，总价不应变化；同一帧重复送入，决策应保持幂等；价格更新后，ESL 应在规定时间内显示新价格；遮挡增加时，商品召回率不应上升；同一场景、同一种子重放，轨迹哈希应一致。蜕变关系不能替代真值，但可以在真值稀缺的门店环境中发现一致性错误。表 8 给出本文建议的首批关系，项目可以按业务规则继续扩展。

表 8 蜕变关系示例

编号	输入变换	应保持的关系	可发现的错误
MR1	向购物篮加入一件商品	账单数量增加 1，总价增加该商品价格	漏记、重复计价
MR2	交换扫描顺序	总价与商品集合不变	顺序依赖、状态污染
MR3	重复送入同一帧	决策幂等，不重复记账	重复触发、去重失效
MR4	更新商品价格	ESL 在服务等级协议（Service-Level Agreement, SLA）内显示新价格	价签同步失败
MR5	增加遮挡比例	商品召回率不上升	标注泄漏、评估错误
MR6	同一场景与种子重放	轨迹哈希与关键决策一致	非确定性、隐藏状态
MR7	增加网络延迟	端到端 p95 延迟不下降	时间戳错误、缓冲掩盖
MR8	从货架移除商品	缺货告警不减少	缺货检测漏报

运行清单是证据链的载体。一个最小清单应包含：运行编号、场景编号与校验和、设备型号与固件哈希、模型哈希、容器镜像、标定证书编号与有效期、随机种子、故障计划哈希、时间源与同步质量、网络配置、原始日志位置、指标、门控结果、判定理由与操作员。清单使用内容哈希串联，任何字段变化都会改变运行编号。这样，评审者可以在数月后重放同一次运行，或至少解释为什么无法重放。

run_id: SR-HIL-20261020-0001
scenario:
  id: checkout-occlusion-0042
  version: 3.1.0
  checksum: sha256:...
device:
  edge_model: "[TODO: 设备型号]"
  firmware_hash: sha256:...
  model_hash: sha256:...
  container_digest: sha256:...
calibration:
  camera_id: cam-03
  certificate: cal-2026-10-01-03
  valid_until: 2026-11-01
  reprojection_error_px: "[TODO: 实测值]"
time:
  source: ptp-grandmaster-1
  max_offset_us: "[TODO: 实测值]"
  max_jitter_us: "[TODO: 实测值]"
faults:
  plan_hash: sha256:...
  executed: "[TODO: true/false]"
seed: 20261020
gate:
  result: "[TODO: valid/uncertain/invalid]"
  reasons: []
metrics:
  checkout_success: "[TODO: 实测值]"
  event_association_error: "[TODO: 实测值]"
  p95_latency_ms: "[TODO: 实测值]"
artifacts:
  raw_log: s3://.../raw.jsonl
  video: s3://.../video.mp4
  metrics: s3://.../metrics.json
operator: "[TODO: 操作员]"

3.8 从试验台到门店的落地流程

StoreLoop 的落地流程分为六个阶段，如表 9 所示。阶段之间不是简单的线性瀑布，而是允许回退：如果 F3 发现多相机几何问题，应回到 F2 重新标定；如果 F4 发现真实顾客行为与场景库不符，应回到 P1 扩展行为库。每个阶段都要有明确的交付物、退出条件与负责人。

表 9 落地阶段与退出条件

阶段	目标	主要交付物	退出条件	负责人
S0 门店孪生采集	建立可标定的门店基线	平面图、货架图、相机位姿、光照与网络基线	关键几何误差与光度误差在阈值内	系统集成
S1 F1 回归	验证边缘与业务链路	回放集、资源基线、回归报告	关键场景通过，资源余量达标	算法/后端
S2 F2 标定	验证感知与传感器	注入配置、标定证书、故障注入报告	注入保真度达标，故障可复现	感知/硬件
S3 F3 集成	验证整店半实物链路	端到端场景集、时间与网络报告	门控通过，风险分箱覆盖达标	测试负责人
S4 F4 影子	验证真实分布一致性	影子日志、分歧分析、非劣效报告	指标非劣，分歧可解释	数据/业务
S5 灰度与推广	受控执行真实动作	灰度计划、回滚预案、监控看板	护栏指标稳定，客诉与损耗可控	门店运营/业务

S0 门店孪生采集的关键不是三维模型的美观，而是可标定。平面图要标注货架、通道、闸机、收银台、补货区与摄像头安装点；货架图要包含层高、列宽、商品朝向与价签位置；相机要记录内参、外参、畸变与安装角度；光照要记录色温、照度与眩光来源；网络要记录无线接入点（Access Point, AP）位置、信道、漫游行为与回传链路。孪生体的误差应作为资产属性记录，而不是假设为零。

S4 影子模式是本文最强调的落地环节。候选系统与生产系统并行运行，候选系统只写审计日志，不触发扣款、闸机或机器人动作。真值来自三个渠道：POS 与支付记录、货架称重/RFID 读数、人工复核与盘点。比较的指标包括商品级精确率与召回率、事件关联错误率、结算成功率、延迟分布与分歧率。分歧样本要分类：候选系统正确、生产系统错误；候选系统错误、生产系统正确；两者都错；真值不可判定。只有前两类可以用于改进，第三类进入缺陷库，第四类触发真值补采。

S5 灰度发布要遵循“先只读后写、先单店后多店、先低峰后高峰、先辅助后自动”的顺序。护栏指标至少包括：结算成功率、误扣率、客诉率、损耗率、闸机误锁率、机器人急停次数、隐私投诉与员工负担。任一护栏指标越过阈值，应自动回滚到上一版本。灰度期间保留人工兜底通道，且兜底流程本身要被测试，不能假设“系统失败时员工自然会处理”。

若以一个中型门店项目为例，建议的最小落地排期为：第 1–2 周完成 S0 门店孪生采集与最小场景模式；第 3–4 周完成 F1 回放回归与资源基线；第 5–6 周完成 F2 标定与注入配置；第 7–8 周完成 F3 端到端集成；第 9–10 周进入 F4 影子模式；第 11–12 周准备灰度、回滚与监控看板。每个阶段结束设置评审门，未通过不得进入下一阶段。该排期只是建议模板，实际周期取决于门店改造、设备到货、数据授权与运营排班，不能直接作为项目承诺。

3.9 复杂度、成本与统计性质

场景组合的规模是参数取值的笛卡尔积。若有 $k$ 个参数、每个参数 $v$ 个取值，全组合规模为 $O(v^k)$，随参数数量指数增长。$t$ 元组合覆盖可以把规模降到 $O(v^t\log v)$ 量级（在常用构造下），但寻找最小覆盖数组是组合优化问题，实践中使用贪心或商用覆盖工具即可。本文不建议追求数学最优，而建议把强制场景、组合覆盖与风险加权长尾分开管理：强制场景保证底线，组合覆盖保证参数交互，风险加权保证长尾。

运行调度可以视为带优先级与资源约束的装箱问题。每个场景需要相机、边缘节点、货架、网络损伤仪与人工代理；不同场景的资源需求不同。调度器应优先执行强制场景与高风险场景，并在设备空闲时填充回归场景。对于实时性要求高的场景，应预留资源余量，避免与其他场景竞争导致门控失败。实时调度理论中的利用率界可以作为初始保守估计，但零售场景的任务集包含视频解码、推理、网络与业务规则，实际可调度性仍需测量 [21]。

验收样本量取决于指标方差、最小可检测差异与显著性水平。对于连续指标，每臂样本量的经典近似为

$$n=\frac{2{\left(z_{1-\alpha /2}+z_{1-\beta }\right)}^2{\sigma }^2}{{\delta }^2},$$

其中 $\alpha$ 是显著性水平，$1-\beta$ 是功效，${\sigma }^2$ 是指标方差，$\delta$ 是最小可检测差异 [23]。对于比例指标，用 $p(1-p)$ 替代 ${\sigma }^2$。若试验按门店或门店-日聚类，需乘以设计效应

$$DE=1+(m-1){\rho }_{icc},$$

其中 $m$ 是每个聚类内的观测数，${\rho }_{icc}$ 是组内相关系数，$DE$ 是设计效应（Design Effect）；所需聚类数为 $n\cdot DE/m$。门店之间的客流、布局与运营差异往往使 ${\rho }_{icc}$ 不可忽略，忽略聚类会低估样本量并高估显著性。

成本模型写为

$$C_{total}=\frac{C_{capex}}{T_{amort}}+C_{maint}+N_{valid}{c}_{run}+K_{cal}{C}_{cal}+N_{field}{c}_{field},$$

其中 $C_{capex}$ 是试验台建设成本，$T_{amort}$ 是摊销周期，$C_{maint}$ 是维护成本，$N_{valid}$ 是有效运行数，$c_{run}$ 是单次运行的可变成本，$K_{cal}$ 是标定次数，$C_{cal}$ 是单次标定成本，$N_{field}$ 是现场试验次数，$c_{field}$ 是单次现场试验成本（含闭店、人工、补贴与机会成本）。单位有效运行成本为 $C_{total}/N_{valid}$。当 $N_{valid}$ 很低时，单位成本会急剧上升；因此提升有效运行占比与提升吞吐同样重要。

表 10 成本模型参数

符号	含义	单位	数据来源
$C_{capex}$	试验台建设成本	货币	采购与集成合同
$T_{amort}$	摊销周期	月/年	财务政策
$C_{maint}$	维护与耗材	货币/期	运维记录
$N_{valid}$	有效运行数	次	门控统计
$c_{run}$	单次运行可变成本	货币/次	算力、人工、能耗
$K_{cal}$	标定次数	次/期	标定计划
$C_{cal}$	单次标定成本	货币/次	人力与标准器
$N_{field}$	现场试验次数	次/期	试验计划
$c_{field}$	单次现场试验成本	货币/次	门店、人工、机会成本

本文给出两个与有效性有关的命题。命题 1 说明同步误差对事件关联的充分条件；命题 2 说明门控的保守性。证明思路见附录 A。

命题 1（事件关联的同步充分条件） 设真实拿起与支付事件的时间差不超过 $W/2$，两个设备相对统一时间基的绝对同步误差分别不超过 $e_p$ 与 $e_b$，且时间戳在事件源头获取。若 $e_p+e_b\le W/2$，则观测时间差不超过 $W$。

命题 2（门控的保守性） 若门控拒绝所有同步误差超过 $e_{\max }$、丢帧率超过 $d_{\max }$、标定年龄超过 $T_{cal}$ 的运行，且在标定范围内指标对这些因素的偏差随因素单调增加，则任何被接受运行的由这些因素引起的偏差存在仅依赖于这三个阈值的上界 $B(e_{\max },d_{\max },T_{cal})$；$B$ 的具体形式需由标定试验确定。

命题 2 的价值不是给出精确误差界，而是把“试验是否可信”转化为可审计的条件：评审者可以检查门控阈值、实际测量值与判定结果，而不必依赖试验执行者的主观判断。命题 2 的单调性假设在多数感知与排队指标上成立，但在存在补偿机制时可能被破坏；因此阈值应通过标定试验验证，而不是直接套用。

4 实验设计

4.1 研究问题

本文设计六组研究问题。RQ1：保真度阶梯是否能把门店指标差距分解到可解释的维度，并降低外推误差？RQ2：不同注入层级分别能暴露哪些失效模式，是否存在“回放通过、光学失败”的系统性盲区？RQ3：时间同步与网络抖动对购物事件关联错误率的影响是否呈非线性？RQ4：风险加权与组合覆盖采样是否比均匀采样产生更高的单位运行缺陷产出？RQ5：有效性门控是否提高指标估计的稳定性，代价是多少有效运行产出？RQ6：影子模式与灰度发布能否发现实验室无法覆盖的运营与分布问题？

这些问题不追求证明某一算法更优，而是验证 StoreLoop 作为验证方法是否有效。所有实验均应在获得门店与数据授权的前提下进行；涉及顾客的实验应优先使用合成顾客、人偶或经同意的参与者。

4.2 试验台、基线、数据与指标

实验使用 T-A、T-B、T-C 三类试验台。T-A 配置真实相机阵列、边缘盒、称重台与支付沙箱；T-B 配置真实货架、称重、ESL、RFID 与机械臂或人工代理；T-C 配置 1:1 货架与通道、真实相机集群、边缘节点、闸机、PTP 时间源与网络损伤仪。具体设备型号、镜头参数、边缘算力、固件版本、软件版本与超参数均标注为 [TODO: 待补充]，本文不虚构。

基线包括五类。B0：纯数字仿真（F0）。B1：录制视频回放（F1）。B2：光学注入（F2）。B3：原始传感器注入（F2）。B4：门店影子模式（F4）。现场实测数据作为外部参照，仅在获得授权时使用；若无法获得，则以人工复核与盘点作为半真值，并明确其不确定度。

感知组件测试可使用公开数据集作为补充：RPC 用于商品识别与结算场景 [11]，SKU-110K 用于密集货架检测 [12]。这两个数据集不能替代门店级试验，但可以用于模型回归与注入管线的冒烟测试。门店级数据应来自自有试验台或经授权的门店采集，采集协议、脱敏方式与保留期限写入证据清单。

评价指标分为四组。技术指标：商品级精确率、召回率与 F1；结算成功率；多目标跟踪的 IDF1（Identity F1）与 MOTA（Multiple Object Tracking Accuracy）；事件关联错误率；端到端 p50/p95/p99 延迟；丢帧率；可用性与平均恢复时间。业务指标：损耗率、缺货识别延迟、在架率、排队时间、客诉率、人工工时。信任指标：隐私事件数、同意覆盖、审计通过率、模型与固件可追溯率。效率指标：有效运行占比、单位有效运行成本、缺陷检出数/百次运行、复现率、从发现到修复的周期。

表 11 评价指标与定义

维度	指标	定义	目标
感知	商品级 F1	商品类别与实例匹配后的调和平均	[TODO: 待定]
结算	结算成功率	无漏记、无重复、价格正确的订单比例	[TODO: 待定]
跟踪	IDF1	身份保持的全局匹配指标	[TODO: 待定]
时间	事件关联错误率	错关联事件数 / 总事件数	[TODO: 待定]
时间	p95 端到端延迟	从事件到业务动作的 95 分位	[TODO: 待定]
稳定性	复现率	同种子重放得到一致决策的比例	[TODO: 待定]
覆盖	有效覆盖率	风险分箱加权覆盖	[TODO: 待定]
效率	单位有效运行成本	总成本 / 有效运行数	[TODO: 待定]
业务	损耗率	盘点损失 / 销售额	[TODO: 待定]
信任	可追溯率	具备完整证据包的运行比例	[TODO: 待定]

4.3 主实验

主实验比较 F0–F4 五个保真度级别在三类任务上的表现：结算商品识别与记账、货架缺货与错放识别、门店多相机跟踪与事件关联。每个级别使用同一套场景资产与同一组风险分箱，差异仅在在环对象与注入方式。表 12 给出实验矩阵；所有单元格均为待填，本文不报告未经测量的数值。

表 12 主实验矩阵（数值待填）

级别	商品级 F1	结算成功率	跟踪 IDF1	事件关联错误率	p95 延迟	复现率	单位运行成本
F0 纯数字	[TODO]	[TODO]	[TODO]	[TODO]	[TODO]	[TODO]	[TODO]
F1 回放 HIL	[TODO]	[TODO]	[TODO]	[TODO]	[TODO]	[TODO]	[TODO]
F2 光学注入	[TODO]	[TODO]	[TODO]	[TODO]	[TODO]	[TODO]	[TODO]
F2 原始注入	[TODO]	[TODO]	[TODO]	[TODO]	[TODO]	[TODO]	[TODO]
F3 门店半实物	[TODO]	[TODO]	[TODO]	[TODO]	[TODO]	[TODO]	[TODO]
F4 影子模式	[TODO]	[TODO]	[TODO]	[TODO]	[TODO]	[TODO]	[TODO]
现场参照	[TODO]	[TODO]	[TODO]	[TODO]	[TODO]	[TODO]	[TODO]

本文提出以下待检验假设，而不是已得到验证的结论。H1：随着保真度从 F0 提升到 F3，HIL 指标与现场参照的差距缩小，但单位运行成本上升；差距的缩小主要来自感知与时间维度，而不是行为维度。H2：光学注入能暴露视频回放无法暴露的低照度、镜头污染与曝光震荡问题；原始注入能暴露视频回放与光学注入都可能掩盖的 ISP 噪声与量化问题。H3：事件关联错误率随时钟误差与网络抖动增加而上升，并在关联窗口 $W$ 附近出现非线性拐点。H4：风险加权与组合覆盖采样比均匀采样产生更高的单位运行缺陷产出，但场景库维护成本更高。H5：有效性门控提高指标估计的稳定性，但会降低有效运行产出；门控过严时，单位有效运行成本可能不降反升。H6：影子模式能发现实验室场景库未覆盖的运营与分布问题，但需要真值补采与人工复核才能把分歧转化为可行动的缺陷。

4.4 消融实验

消融实验围绕六个因素展开，如表 13 所示。每个因素至少设置两个水平，保持其他因素不变；每个水平使用相同的场景集与随机种子，并报告有效运行占比与门控原因分布。

表 13 消融设计

因素	水平	待检验假设	主要指标
时间同步	软件时间戳 vs PTP 硬件时间戳	硬件时间戳降低事件关联错误率与延迟不确定性	关联错误率、p95 延迟、时间质量
注入层级	视频流 vs 光学 vs 原始传感器	不同层级暴露不同失效模式	缺陷类别、复现率、F1
行为生成	脚本 vs 脚本+随机 vs 脚本+随机+生成式候选	行为多样性提高长尾覆盖，但增加审阅成本	有效覆盖率、缺陷产出、审阅工时
场景采样	均匀 vs 风险加权 vs 组合覆盖	风险加权与组合覆盖提高单位运行缺陷产出	缺陷/百次、覆盖分箱、成本
门控	关闭 vs 开启	门控提高估计稳定性但降低有效产出	指标方差、有效运行占比、成本
标定状态	新鲜标定 vs 老化标定	标定漂移会改变感知与关联结论	指标偏移、门控失败率

消融实验的关键不是找到“最优配置”，而是估计每个因素对结论的影响方向与量级。若某个因素在多个场景中表现不一致，应把它视为交互项，而不是平均效应。对于时间同步与注入层级，建议使用配对设计：同一场景在同一设备上分别以两种配置运行，减少场景差异带来的方差。对于行为生成与场景采样，建议使用分层设计：按风险分箱分层，报告每层的缺陷产出，而不是只看总体平均。

4.5 分析计划

失败模式分类。 本文建议把所有失败分为七层：感知、融合、系统、行为、运营、隐私与安全，如表 14 所示。分类的目的不是追责，而是把失败路由到正确的试验台与负责人。感知失败应在 T-A/T-B 复现；融合失败应在 T-B/T-C 复现；系统失败应在 F1/F3 复现；行为失败应在 P1 扩展场景；运营失败应在 F4 与门店观察；隐私与安全失败必须进入合规与安全评审。

表 14 失败模式分类

层级	典型失败	例子	检测方式	试验台
感知	漏检、误检、身份混淆	相似包装、遮挡、低照度	商品级 F1、混淆矩阵	T-A/T-B
融合	事件错关联、重复记账	重量变化与拿起事件错位	事件关联错误率、账实比对	T-B/T-C
系统	丢帧、超时、降频、分区	多路解码过载、Wi-Fi 漫游	资源指标、延迟分布	F1/F3
行为	长尾行为未覆盖	儿童、轮椅、群体同行	覆盖分箱、影子分歧	P1/F4
运营	补货、误放、价签不同步	促销堆头、临时纸箱	盘点、巡店、审计	F4
隐私	超范围采集、保留过久	未脱敏视频、无关区域	数据流审计、隐私影响评估	全流程
安全	闸机误锁、机器人碰撞	急停失效、路径侵入	故障注入、安全评审	T-C

解析算例。 为说明时间预算的使用方式，本文给出一个假设算例，所有数值均为假设值，不代表任何真实系统。设采集 10 ms、ISP 5 ms、编码 8 ms、网络 15 ms、排队 10 ms、推理 30 ms、融合 5 ms、业务动作 10 ms、同步 5 ms，则各环节中位数假设值之和为 98 ms；若各环节 p95 分别为 15、8、12、40、60、55、10、20、8 ms，其和为 228 ms（仅为保守上界，不是端到端 p95）。实际 p95 不能简单相加，应使用卷积、蒙特卡洛或端到端测量；该算例只用于说明“哪一段最值得优化”。在该假设下，排队与网络是尾部的主要来源，应优先检查边缘负载与漫游行为，而不是只优化推理算子。

成本与效率分析。 成本分析应区分固定成本、可变成本与现场成本，并报告单位有效运行成本与盈亏平衡点。盈亏平衡的条件是

$$N_{field}^{saved}{c}_{field}\ge C_{total},$$

其中 $N_{field}^{saved}$ 是因 HIL 而减少的现场试验次数。若 HIL 不能减少现场试验，只是增加了试验环节，则其价值必须由更早发现缺陷、更低回归成本或更高门店可用性来解释，而不能只用“替代现场”来论证。

定性分析计划。 对影子模式与灰度阶段的分歧样本，应进行结构化复核：记录场景、设备、时间、真值来源、候选决策、生产决策与人工判断；由算法、运营与合规三方独立标注；对分歧原因做编码，统计高频类别。定性分析不能替代定量指标，但可以解释指标变化的原因，并发现指标未覆盖的问题。

4.6 局限

本文的局限主要有六点。第一，本文是方法论与实验设计论文，未报告实测数据；所有性能结论均为待检验假设，不能作为采购或上线依据。第二，保真度阶梯的维度划分是一阶近似，物理、感知、行为、时间与运营之间存在交互，实际归因可能需要更复杂的实验设计。第三，合成顾客与生成式行为无法完全代表真实顾客，尤其是文化、语言、身体条件与异常意图的差异。第四，门店多样性不足：不同业态、不同面积、不同客流与不同商品结构的门店可能需要不同的试验台配置。第五，标定与维护成本可能被低估；相机、称重、RFID 与网络设备的漂移需要持续投入。第六，隐私与安全约束会限制可采集的数据与可注入的故障，部分高风险场景只能在仿真或受控环境中验证。

5 讨论

5.1 何时使用 HIL，何时必须回到门店

HIL 不是门店试验的全面替代。本文建议按五个因素决策：变更的新颖性、失效的严重度、现场试验的成本、结论的可重复性要求与监管要求。新颖性高、严重度高、现场成本高、需要重复回归的变更，优先使用 HIL；涉及真实顾客行为、真实运营流程、长期漂移与真实资金的变更，必须回到门店。表 15 给出一个定性决策矩阵，其中“●”表示该阶段应作为主要验证手段，“◐”表示需要两者结合，“○”表示不作为首选。

表 15 HIL 与门店试验的适用边界（定性）

变更类型	优先 HIL	必须门店	理由
模型或固件回归	●	○	可重复、可并行、成本低
相机布局或镜头更换	●	◐	几何与光学可在 F2/F3 验证
新增商品品类	●	◐	需补充真实包装与陈列
支付规则或价格策略	◐	●	涉及资金、合规与客诉
门店布局改造	◐	●	真实客流与运营难以合成
机器人新增动作	●	●	实验室验证路径，门店验证人机共存
长期损耗评估	○	●	需要真实分布与足够时间
隐私与合规审计	◐	●	需要真实数据流与现场证据

5.2 组织与职责

StoreLoop 的落地不是测试团队单独能完成的工作。建议设立四类角色。测试负责人（Test Owner）对场景库、门控规则、证据包与验收结论负责；门店运营负责人对场景真实性、补货与异常流程、影子期人工复核负责；算法与系统负责人对模型、固件、边缘资源与可观测性负责；合规与安全负责人对数据采集、保留、脱敏、数据保护影响评估（Data Protection Impact Assessment, DPIA）、机器人与支付安全负责。四类角色应在场景评审、标定评审、门控评审与上线评审四个节点共同签字。

组织上最常见的失败是“测试团队写场景，运营团队最后验收”。这种分工会导致场景库缺少运营细节，运营团队在影子期才发现问题。更有效的做法是让运营人员参与场景设计，把补货、误放、促销、交接班与客诉处理写成可执行脚本；让测试人员参与门店巡店，理解真实约束；让合规人员在场景设计阶段就介入，而不是在上线前做一次性审查。

5.3 隐私、伦理与安全

智慧零售 HIL 涉及大量图像、身份、位置与交易数据，隐私风险高于一般软件测试。本文建议遵循四条原则。第一，数据最小化：试验只采集与场景目标相关的区域与时段，避免采集无关顾客与员工；优先使用合成顾客、人偶、经同意的参与者或已脱敏的回放数据。第二，本地优先：能在边缘完成的推理与脱敏不要回传云端；原始视频的保留期限应尽可能短，访问应审计。第三，目的限定：试验数据不得用于员工绩效评估、顾客画像或未获同意的二次分析。第四，可解释与可申诉：影子模式与灰度阶段应提供人工复核与申诉通道，避免系统错误直接转化为对顾客或员工的处罚。

合规方面，欧盟《通用数据保护条例》（General Data Protection Regulation, GDPR）要求对高风险处理开展数据保护影响评估，并遵循合法性、目的限定、数据最小化、存储限制与问责原则 [35]；《中华人民共和国个人信息保护法》对个人信息处理、敏感个人信息、告知同意与跨境传输提出了要求 [36]。智慧零售中的面部、步态与位置数据可能构成敏感个人信息，应在场景设计阶段完成分类与评估。美国国家标准与技术研究院（National Institute of Standards and Technology, NIST）的人工智能风险管理框架提供了治理、映射、测量与管理的组织方法 [33]，ISO/IEC 42001 提供了人工智能管理体系的认证框架 [34]；二者可以作为内部治理的参考，但不能替代当地法律要求。

安全方面，涉及闸机、机器人与支付的试验必须默认失效安全。闸机在通信中断时应进入可控放行或人工接管状态，而不是锁死；机器人在人群附近应限制速度与力矩，保留急停与远程接管；支付试验应使用沙箱与幂等代理，禁止真实扣款；故障注入不得在真实顾客身上进行。对于可能造成物理伤害的故障，只能在隔离试验台或仿真中验证，不能为了“更真实”而突破安全边界。

5.4 标准化与复用

智慧零售 HIL 的复用依赖三类标准。第一类是模型与仿真互操作：FMI 3.0 支持模型交换与协同仿真 [28]，OSI 为感知真值与传感器数据提供统一接口 [29]，可以作为场景引擎与设备之间的数据契约。第二类是时间与网络：PTP 提供统一时间基 [26]，TSN 为确定性流量提供调度 [27]，可以作为时间契约的底层实现。第三类是机器人：ROS 2 提供节点通信、生命周期与工具链 [30]，可以作为机器人在环的集成基础。

现有标准没有覆盖零售特有的场景语义，例如货架图、商品主数据、购物事件、价签回执与损耗核算。本文建议在项目内部先定义最小场景模式（schema），包括门店、货架、商品、行为、故障与预言者六类对象，并为其分配版本号与校验和；等行业出现事实标准后，再做映射。最小模式的价值在于让场景资产可以跨试验台、跨供应商与跨门店复用，而不是被绑定在某一款仿真器或某一套脚本中。

5.5 经济性与组织可持续性

HIL 试验台的经济性取决于利用率。若试验台只服务于一个项目、一个团队，固定成本难以摊薄；若能在多个门店、多个供应商与多个模型版本之间共享，单位成本会显著下降。本文建议把试验台设计为“共享基础设施”：统一设备接口、统一场景模式、统一证据格式，按项目计费或按工时分配。共享的难点不是技术，而是排期、优先级与数据隔离；需要在组织层面设立试验台管理委员会，明确资源分配规则。

另一个常被忽视的成本是维护。相机需要清洁与重新标定，称重需要校准，RFID 天线需要检查，网络需要更新配置，故障注入仪需要校验，场景库需要随商品与门店变化更新。若没有维护预算，试验台会在数月内退化为“能跑但不可信”。本文建议把维护成本写入年度预算，并把标定有效期、门控失败率与有效运行占比作为试验台的健康指标。

5.6 常见反模式

本文总结七种常见反模式。第一，“演示驱动验证”：用一条精心准备的场景证明系统可用，却不报告失败场景与有效运行占比。第二，“覆盖率表演”：用大量相似场景制造高覆盖率，却不覆盖风险分箱。第三，“仿真即证据”：把未标定的仿真结果直接作为上线依据。第四，“门控绕过”：在进度压力下关闭门控或手工修改判定。第五，“影子无真值”：影子模式只记录候选决策，却不建立可复核的真值，导致分歧无法解释。第六，“一次性标定”：试验台建成后不再标定，忽略漂移。第七，“供应商黑箱”：设备或模型没有哈希、没有版本、没有接口文档，导致证据链断裂。

这些反模式的共同根源是把 HIL 当作“买设备、搭环境、跑脚本”，而不是“建立一条可审计的证据生产线”。StoreLoop 的五个平面与五类契约，本质上是为了让证据生产线的每个环节都可被检查、被替换、被追责。

6 结论

本文把 HIL 与半实物仿真在智慧零售中的落地问题，从“如何搭一个更真实的仿真环境”重构为“如何建立一条保真度可管理、时间可追溯、证据可审计的验证流水线”。本文提出 StoreLoop 五平面参考架构，把场景与行为、物理与感知、真实设备在环、时间与网络、编排与证据组织为五个可组合平面，并用五类契约连接。本文给出 F0–F4 保真度阶梯，明确每一级的在环对象、可回答问题、不可回答问题与退出条件，强调保真度是约束向量而不是单一分数。

本文进一步给出结算台、货架台与门店半实物台三类试验台的设计，比较光学、原始传感器、视频流与元数据四类注入点的适用边界，并说明光学注入的刷新率、曝光与卷帘快门约束。本文建立端到端时间预算、事件关联、排队尾部与验收样本量的解析模型，给出有效性门控与三值判定规则，并把蜕变关系、影子模式与灰度发布串成落地流程。本文不报告未经实测的性能数字，而是给出可复现的实验设计、指标体系、记录模板与失败模式分类，供后续研究与实践填充。

未来工作有四个具体方向。第一，开展跨业态、跨门店的长期实证研究，用嵌套设计估计保真度差距的各维度贡献，并检验本文的假设 H1–H6。第二，研究零售场景的最小标准模式，并与 FMI、OSI、PTP/TSN 等标准做映射，降低跨供应商复用的成本。第三，研究带安全与真实性过滤的生成式场景作者工具，把大语言模型的长尾生成能力约束在可执行、可审阅、可冻结的范围内。第四，研究隐私增强的半实物试验方法，例如在边缘侧完成脱敏、用合成顾客替代真实顾客、用联邦评估减少原始数据流动，使 HIL 在合规前提下覆盖更多真实分布。

参考文献

[1] R. Isermann, J. Schaffnit, and S. Sinsel, “Hardware-in-the-loop simulation for the design and testing of engine-control systems,” Control Engineering Practice, vol. 7, no. 5, pp. 643–653, 1999. DOI: 10.1016/S0967-0661(98)00205-6.

[2] H. K. Fathy, Z. S. Filipi, J. Hagena, and J. L. Stein, “Review of hardware-in-the-loop simulation and its prospects in the automotive area,” in Modeling and Simulation for Military Applications, Proc. SPIE, vol. 6228, art. 62280E, 2006. DOI: 10.1117/12.667794.

[3] G. F. Lauss, M. O. Faruque, K. Schoder, C. Dufour, A. Viehweider, and J. Langston, “Characteristics and design of power hardware-in-the-loop simulations for electrical power systems,” IEEE Transactions on Industrial Electronics, vol. 63, no. 1, pp. 406–417, 2016. DOI: 10.1109/TIE.2015.2464308.

[4] W. Ren, M. Steurer, and T. L. Baldwin, “Improve the stability and the accuracy of power hardware-in-the-loop simulation by selecting appropriate interface algorithms,” IEEE Transactions on Industry Applications, vol. 44, no. 4, pp. 1286–1294, 2008. DOI: 10.1109/TIA.2008.926240.

[5] M. O. Faruque et al., “Real-time simulation technologies for power systems design, testing, and analysis,” IEEE Power and Energy Technology Systems Journal, vol. 2, no. 2, pp. 63–73, 2015. DOI: 10.1109/JPETS.2015.2427370.

[6] A. Dosovitskiy, G. Ros, F. Codevilla, A. Lopez, and V. Koltun, “CARLA: An open urban driving simulator,” in Proceedings of the 1st Annual Conference on Robot Learning (CoRL), PMLR 78, pp. 1–16, 2017. arXiv:1711.03938.

[7] P. A. Lopez et al., “Microscopic traffic simulation using SUMO,” in 2018 21st International Conference on Intelligent Transportation Systems (ITSC), pp. 2575–2582, 2018. DOI: 10.1109/ITSC.2018.8569938.

[8] F. Tao, H. Zhang, A. Liu, and A. Y. C. Nee, “Digital twin in industry: State-of-the-art,” IEEE Transactions on Industrial Informatics, vol. 15, no. 4, pp. 2405–2415, 2019. DOI: 10.1109/TII.2018.2873186.

[9] W. Zhao, J. Peña Queralta, and T. Westerlund, “Sim-to-real transfer in deep reinforcement learning for robotics: A survey,” in 2020 IEEE Symposium Series on Computational Intelligence (SSCI), pp. 737–744, 2020. DOI: 10.1109/SSCI47803.2020.9308468.

[10] J. Tobin, R. Fong, A. Ray, J. Schneider, W. Zaremba, and P. Abbeel, “Domain randomization for transferring deep neural networks from simulation to the real world,” in 2017 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pp. 23–30, 2017. DOI: 10.1109/IROS.2017.8202133.

[11] X.-S. Wei, Q. Cui, L. Yang, P. Wang, and L. Liu, “RPC: A large-scale retail product checkout dataset,” arXiv:1901.07249, 2019.

[12] E. Goldman, R. Herzig, A. Eisenschtat, J. Goldberger, and T. Hassner, “Precise detection in densely packed scenes,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 5227–5236, 2019. DOI: 10.1109/CVPR.2019.00537. arXiv:1904.00853.

[13] X. Liu, Y. Jiang, K.-H. Kim, and R. Govindan, “Grab: Fast and accurate sensor processing for cashier-free shopping,” arXiv:2001.01033, 2020.

[14] M. Paolanti, L. Romeo, M. Martini, A. Mancini, E. Frontoni, and P. Zingaretti, “Robotic retail surveying by deep learning visual and textual data,” Robotics and Autonomous Systems, vol. 118, pp. 179–188, 2019. DOI: 10.1016/j.robot.2019.01.021.

[15] A. Milella, A. Petitti, R. Marani, G. Cicirelli, and T. D’Orazio, “Towards intelligent retail: Automated on-shelf availability estimation using a depth camera,” IEEE Access, vol. 8, pp. 19353–19363, 2020. DOI: 10.1109/ACCESS.2020.2968175.

[16] J. Xu, Z. Hu, Z. Zou, J. Zou, X. Hu, L. Liu, and L. Zheng, “Design of smart unstaffed retail shop based on IoT and artificial intelligence,” IEEE Access, vol. 8, pp. 147728–147737, 2020. DOI: 10.1109/ACCESS.2020.3014047.

[17] D. Helbing and P. Molnár, “Social force model for pedestrian dynamics,” Physical Review E, vol. 51, no. 5, pp. 4282–4286, 1995. DOI: 10.1103/PhysRevE.51.4282.

[18] J. S. Park et al., “Generative agents: Interactive simulacra of human behavior,” arXiv:2304.03442, 2023.

[19] H. Araujo, M. R. Mousavi, and M. Varshosaz, “Testing, validation, and verification of robotic and autonomous systems: A systematic review,” ACM Transactions on Software Engineering and Methodology, vol. 32, no. 2, art. 51, 2023. DOI: 10.1145/3542945.

[20] S. Segura, G. Fraser, A. B. Sanchez, and A. Ruiz-Cortés, “A survey on metamorphic testing,” IEEE Transactions on Software Engineering, vol. 42, no. 9, pp. 805–824, 2016. DOI: 10.1109/TSE.2016.2532875.

[21] C. L. Liu and J. W. Layland, “Scheduling algorithms for multiprogramming in a hard-real-time environment,” Journal of the ACM, vol. 20, no. 1, pp. 46–61, 1973. DOI: 10.1145/321738.321743.

[22] D. G. Kendall, “Stochastic processes occurring in the theory of queues and their analysis by the method of the imbedded Markov chain,” The Annals of Mathematical Statistics, vol. 24, no. 3, pp. 338–354, 1953. DOI: 10.1214/aoms/1177728975.

[23] J. Cohen, Statistical Power Analysis for the Behavioral Sciences, 2nd ed. Hillsdale, NJ: Lawrence Erlbaum Associates, 1988.

[24] W. Shi, J. Cao, Q. Zhang, Y. Li, and L. Xu, “Edge computing: Vision and challenges,” IEEE Internet of Things Journal, vol. 3, no. 5, pp. 637–646, 2016. DOI: 10.1109/JIOT.2016.2579198.

[25] R. Want, “An introduction to RFID technology,” IEEE Pervasive Computing, vol. 5, no. 1, pp. 25–33, 2006. DOI: 10.1109/MPRV.2006.17.

[26] IEEE, “IEEE Standard for a Precision Clock Synchronization Protocol for Networked Measurement and Control Systems,” IEEE Std 1588-2019, 2020.

[27] IEEE, “IEEE Standard for Local and Metropolitan Area Networks—Bridges and Bridged Networks—Amendment 25: Enhancements for Scheduled Traffic,” IEEE Std 802.1Qbv-2015, 2016.

[28] Modelica Association, “Functional Mock-up Interface specification, version 3.0,” 2022. [Online]. Available: https://fmi-standard.org/docs/3.0/

[29] ASAM, “ASAM Open Simulation Interface (OSI) V3.7.0,” 2024. [Online]. Available: https://www.asam.net/standards/detail/osi/

[30] S. Macenski, T. Foote, B. Gerkey, C. Lalancette, and W. Woodall, “Robot Operating System 2: Design, architecture, and uses in the wild,” Science Robotics, vol. 7, no. 66, eabm6074, 2022. DOI: 10.1126/scirobotics.abm6074.

[31] F. Reway, W. Huber, and E. Parente Ribeiro, “Test methodology for vision-based ADAS algorithms with an automotive camera-in-the-loop,” in 2018 IEEE International Conference on Vehicular Electronics and Safety (ICVES), pp. 1–7, 2018. DOI: 10.1109/ICVES.2018.8519598.

[32] B. Hager and J. Allen, “Raw data injection and failure testing of camera, radar, and lidar for highly automated systems,” SAE Technical Paper 2019-01-1378, 2019. DOI: 10.4271/2019-01-1378.

[33] National Institute of Standards and Technology, “Artificial Intelligence Risk Management Framework (AI RMF 1.0),” NIST AI 100-1, 2023. DOI: 10.6028/NIST.AI.100-1.

[34] ISO/IEC, “ISO/IEC 42001:2023 Information technology — Artificial intelligence — Management system,” 2023.

[35] European Parliament and Council of the European Union, “Regulation (EU) 2016/679 on the protection of natural persons with regard to the processing of personal data and on the free movement of such data (General Data Protection Regulation),” 2016.

[36] 全国人民代表大会常务委员会, “中华人民共和国个人信息保护法,” 2021.

附录

附录 A 命题证明与时间预算推导

命题 1 的证明。 设真实事件时刻为 $t_p^{\ast }$ 与 $t_b^{\ast }$，观测时刻为 $t_p^{obs}=t_p^{\ast }+{\delta }_p$，$t_b^{obs}=t_b^{\ast }+{\delta }_b$，其中 $|{\delta }_p|\le e_p$，$|{\delta }_b|\le e_b$。由三角不等式，

$$|t_p^{obs}-t_b^{obs}|=|(t_p^{\ast }-t_b^{\ast })+({\delta }_p-{\delta }_b)|\le |t_p^{\ast }-t_b^{\ast }|+|{\delta }_p|+|{\delta }_b|\le \frac{W}{2}+e_p+e_b.$$

当 $e_p+e_b\le W/2$ 时，右边不超过 $W$，命题得证。证毕。

该证明假设时间戳在事件源头获取。若时间戳在消息到达时生成，则 ${\delta }_p$ 与 ${\delta }_b$ 还包含采集、编码、传输与排队延迟，必须用端到端延迟的实测分布替代常数上界。此时更合适的条件是 $e_p+e_b+\max |L_p-L_b|\le W/2$，其中 $L_p$ 与 $L_b$ 分别是两条链路从事件发生到时间戳生成的延迟；由于排队延迟的尾部可能很长，应使用延迟差的 p95 或 p99，而不是均值，并在门控中记录实际分布。

端到端延迟的保守上界。 若各环节延迟相互独立，端到端 p95 不是各环节 p95 之和，而是卷积分布的 p95。若无法获得联合分布，可以用各环节 p95 之和作为保守上界，或用蒙特卡洛在给定边缘分布与相关性假设下估计。保守上界的代价是可能高估超时风险，导致过度配置；因此应同时报告端到端实测值与上界，避免用上界替代测量。

附录 B 排队与样本量

排队模型。 设结算区有 $q$ 条通道，顾客到达率为 $\lambda$，单通道服务率为 $\mu$，则系统利用率 $\rho =\lambda /(q\mu )$。当 $\rho <1$ 时系统稳定。对于单通道 M/M/1 队列，等待时间超过 $t$ 的概率为

$$P(W>t)=\rho e^{-\mu (1-\rho )t}.$$

对于多通道 M/M/$q$ 队列，应使用 Erlang C 公式计算等待概率；若服务时间方差较大，应使用 M/G/$q$ 近似或离散事件仿真。零售场景的到达率具有明显的时段性，应对每个时段分别建模，而不是用全天平均值。排队模型的作用不是精确预测，而是确定峰值负载下的测试强度与容量余量。

样本量。 连续指标的每臂样本量近似为

$$n=\frac{2(z_{1-\alpha /2}+z_{1-\beta }{)}^2{\sigma }^2}{{\delta }^2}.$$

比例指标用 $p(1-p)$ 替代 ${\sigma }^2$。聚类设计的膨胀因子为 $DE=1+(m-1){\rho }_{icc}$。若门店数为 $K$、每店观测数为 $m$，则总观测数为 $Km$，有效样本量为 $Km/DE$。在影子模式中，${\rho }_{icc}$ 可能来自门店客流、布局与运营差异；应在试点阶段估计，而不是假设为零。对于损耗率等稀有事件，正态近似可能不适用，应使用泊松模型、贝叶斯方法或更长的观察窗口。

附录 C 场景与运行清单示例

scenario_id: shelf-oos-occlusion-0017
version: 2.0.0
checksum: sha256:...
store:
  layout: store-A-v3
  planogram: aisle-04-v2
  sku_master: sku-2026-10
  lighting: 3000K-500lx
shoppers:
  - id: shopper-01
    profile: adult-average
    script:
      - enter: {t: 0, gate: main}
      - path: {to: aisle-04, speed: 1.1}
      - action: {type: pick, sku: SKU-1024, t: 42.0}
      - action: {type: return, sku: SKU-1024, t: 48.5}
      - exit: {t: 70.0, gate: main}
  - id: shopper-02
    profile: adult-with-child
    script:
      - enter: {t: 5, gate: main}
      - path: {to: aisle-04, speed: 0.9}
      - action: {type: occlude, target: shelf-04-B, t: 40.0, duration: 12.0}
      - exit: {t: 65.0, gate: main}
faults:
  - target: camera-04
    type: exposure_oscillation
    start: 30.0
    duration: 20.0
  - target: network
    type: delay
    start: 35.0
    duration: 15.0
    params: {mean_ms: 80, jitter_ms: 20}
oracles:
  - type: event_association
    window_s: 2.0
  - type: metamorphic
    relation: MR3
  - type: inventory
    expected_delta: 0

附录 D 标定清单

1. 相机几何：内参、外参、畸变、安装角度、视场覆盖；记录重投影误差与标定板型号。
2. 相机光度：白平衡、色彩响应、曝光曲线、增益、低照度噪声；记录色卡、照度计与光源色温。
3. 光学注入：显示屏刷新率、亮度、色域、均匀性、莫尔条纹、安装距离与角度；记录 genlock 配置。
4. 原始注入：Bayer 图案、黑电平、镜头阴影、噪声模型、曝光/增益回传、接口延迟；记录传感器型号与固件。
5. 称重：零点、量程、线性度、温度漂移、响应时间；记录标准砝码与温度。
6. RFID：天线功率、读取率、标签类型、金属/液体干扰、相邻商品耦合；记录标签批次。
7. ESL：刷新延迟、失败回执、睡眠周期、网关容量；记录固件与电池状态。
8. 网络：往返时延、抖动、丢包、带宽、漫游切换、AP 信道；记录损伤仪配置。
9. 时间：PTP 偏移、抖动、主从切换、holdover；记录时间质量日志。
10. 环境：温度、湿度、照度、背景噪声；记录与标定条件的偏差。

附录 E 试验记录模板

字段	内容
运行编号	[TODO]
场景编号与版本	[TODO]
场景校验和	[TODO]
设备型号与固件哈希	[TODO]
模型哈希与容器镜像	[TODO]
标定证书与有效期	[TODO]
随机种子与故障计划哈希	[TODO]
时间源与同步质量	[TODO]
网络配置与损伤记录	[TODO]
门控结果与理由	[TODO]
技术指标	[TODO]
业务指标	[TODO]
失败分类与负责人	[TODO]
原始日志与视频位置	[TODO]
操作员与复核人	[TODO]

附录 F 术语表

术语	英文	含义
硬件在环	Hardware-in-the-Loop (HIL)	将真实硬件接入实时模型或可编程环境的闭环验证方法
半实物仿真	Semi-physical Simulation	部分环节使用真实设备、部分环节使用模型的仿真方式
自动结算	Automatic Checkout (ACO)	自动生成购物清单并完成计价的结算方式
电子价签	Electronic Shelf Label (ESL)	可远程更新价格的货架显示设备
射频识别	Radio Frequency Identification (RFID)	通过射频信号识别标签与商品的技术
缺货	Out-of-Stock (OOS)	商品在货架上不可售的状态
损耗	Shrink	因漏算、盗窃、损坏、过期等造成的库存损失
精密时钟协议	Precision Time Protocol (PTP)	分布式设备的高精度时钟同步协议
时间敏感网络	Time-Sensitive Networking (TSN)	提供确定性时延与调度的以太网标准族
功能模型接口	Functional Mock-up Interface (FMI)	模型交换与协同仿真的标准接口
开放仿真接口	Open Simulation Interface (OSI)	感知真值与传感器数据的统一接口
蜕变测试	Metamorphic Testing	通过输入输出关系检验系统一致性的测试方法
影子模式	Shadow Mode	候选系统在真实环境中只读运行、不执行动作的验证方式
灰度发布	Canary Rollout	先在小范围门店启用新版本、逐步扩大的发布方式
数据保护影响评估	Data Protection Impact Assessment (DPIA)	对高风险数据处理进行隐私影响评估的流程