一、医疗影像 AI 的瓶颈,常常卡在一根视频线上

做医疗影像 AI 的团队大多经历过类似场景:算法在内镜、超声、DR 的离线数据集上验证得不错,真正推进到科室时,却卡在最前端的一步 —— 影像出不来。

内窥镜主机、超声主机、显微镜相机、DR 工作站,输出的是 HDMI 或 SDI 视频流;而 AI 推理平台需要的是可被 GPU 直接处理的原生帧数据。两者之间隔着编码、转接、驱动适配三道坎。用外置 USB 采集盒,多一个盒子就多一路供电、多一段线缆、多一个故障点;用工控机插 PCIe 采集卡,体积和散热又很难塞进医疗台车。

视程空间的解法是把采集卡做成 M.2 形态,直接插在算力开发板的 M.2 插槽上,让 "视频接入" 和 "AI 推理" 在同一块板、同一条 PCIe 链路上完成。看似只是换了个形态,实际改变的是整机的结构、延迟与可靠性。

二、为什么是 M.2,而不是 USB 采集盒

M.2 的价值不在 "小",而在 "短路径"。

USB 采集盒走的是 USB 总线,图像要先经过 USB 控制器、主机内存,再拷贝到显存,链路上至少两次数据搬运,还要与其他 USB 设备争抢带宽。医疗现场往往同时插着键盘、鼠标、脚踏、读卡器,带宽争抢带来的抖动很难排查。

M.2 采集卡走的是 PCIe。SC-710N2 M2 HDMI2.0 以 M.2 形态提供 2 路 HDMI2.0 信号输入,插在开发板的 M.2 2280 M 键插槽上(PCIe×4),板内直连 SoC。省掉外置盒、省掉独立供电、省掉一段可能被踢掉的线缆,对医疗台车这种 "寸土寸金、还要经常推动" 的结构,收益非常直接。

更实际的一点是装配一致性。M.2 是标准插槽、标准螺丝固定,集成商按图纸装一遍就能复现,不会因为 "采集盒放在哪、线怎么绕" 产生批次差异。医疗设备最怕的正是这种看不见的装配变量。

当然,M.2 形态也带来新的设计约束:插槽供电上限、卡体散热空间、不同载板 M 键走线与通道分配,都要求采集卡与开发板提前联调。视程空间把 SC 系列 M.2 卡与 AIR、ARC 系列开发板放进同一套硬件规范里验证,正是为了避免 "卡能插上、但带宽跑不满" 的隐性损失。

三、一块 M.2 卡,把内镜、超声、术野同时接进来

医疗影像的输入往往不是单路。

内镜手术要同时记录腔镜主画面与全景 / 外景;超声检查要接主机视频输出,部分场景还要接第二路显示;手术示教要取术野画面与监护仪画面。SC-710N2 的双路 HDMI2.0 输入,正是为这种 "同屏多源" 准备的:两路独立输入、独立时间戳、统一送到同一块 GPU 上处理。

对算法侧的意义在于,多源数据在进入显存前就已经对齐。做息肉检出的模型需要腔镜画面,做流程质控的模型需要全景画面判断器械进出,做教学结构化的模型需要把术野与监护数据放在同一时间轴上。如果两路视频分别走两个采集盒、两个驱动、两套时钟,后处理阶段就要花大量精力做对齐;而同卡双路输入从硬件层共享时钟与缓冲管理,对齐成本被前置消化掉。

官网公开的实测记录里,SC710N1 M2 HDMI2.0 搭配 Pandora SC6N0 NX 16GB,已经跑过超声影像、胸部 X 光与内镜影像三条典型路径。这些测评的价值不在 "跑分",而在于证明一条完整链路 —— 医疗设备视频输出、M.2 采集、开发板推理、结果回显 —— 是能被复现的。

四、同板直连,换来的是延迟与确定性

医疗场景对延迟的容忍度,比工业视觉更苛刻。

内镜 AI 辅助要求提示 "跟得上医生的手",超声切面识别要求在探头移动过程中给出反馈,手术示教的远端画面不能明显滞后于现场。这些需求折算成指标,就是端到端延迟要稳定,而不是平均值好看、偶发抖动。

把采集卡放进开发板,减少的不只是体积。数据从 PCIe 进入 SoC,经 GPU 处理后再输出,路径上少了一次跨设备搬运;配合 Holoscan 这类以数据为中心的框架,采集、预处理、推理被组织成流水线,缓冲区在 GPU 侧复用,避免反复的主机内存往返。视程空间在手术影像架构里提到的 GPUDirect RDMA 与零拷贝思路,本质就是把 "搬数据" 的时间省下来给 "算数据"。

需要说明的是,零拷贝不是一句口号,它依赖采集卡驱动、PCIe 拓扑、SoC 内存映射与框架四者对齐。这也是为什么 "同一家厂商的板卡 + 采集卡 + SDK" 比 "自己拼三家供应商" 更容易把延迟做稳 —— 链路是被整体验证过的。

五、算力梯度:从 Orin NX 到 Thor,按科室选型

医疗影像的算力需求跨度很大,用一颗芯片打全场并不经济。

轻量场景,如单路超声切面识别、门诊级质控,Jetson Orin Nano 的 34 至 67TOPS 已经够用,配 AIR SC6N0-C 这类紧凑载板,可以做成便携式设备。主流场景,如内镜息肉检出、多路视频同录、胸片初筛,Orin NX 的117 至 157TOPS 是性价比区间,AIR SC6N0-C-W 与 ARC SC6N0 NX 都能覆盖,16GB 内存足以让一个检测模型加一个分割模型常驻。

高负载场景,如内镜多模型串行、4K 多路实时分析、术中影像结构化,AGX Orin 的 200 至 275TOPS 更稳妥。ARC SC6N0 AGX 64GB 的大内存让多个模型不必反复换入换出,对 "检出 + 分类 + 质控" 这种串行管线尤其重要。

如果要做手术室一体化平台,把无压缩术中影像、实时 AI 辅助、结构化归档、教学回放放在一台设备里,Jetson Thor 是更合适的选择。T5000 提供 2070 FP4 TFLOPS 与 128GB LPDDR5X,T4000 为 1200 TFLOPS 与64GB,支持 8K 解码、16 路 MIPI CSI-2、5GbE 与 CAN BUS。它给的不是 "够用",而是给未来多模态模型留出余量。

六、四张真实的台面:内镜、超声、胸片、示教

把技术放回科室,会看得更清楚。

内镜台面:腔镜主机 HDMI 输出接入 M.2 卡,开发板同时跑检出与质控两个模型,结果叠加回主屏。关键在于不能干扰原有显示链路,采集必须是旁路式的,主机照常输出,AI 只是 "多看一眼"。

超声台面:超声主机视频输出接入采集卡,开发板做标准切面识别与测量辅助。超声图像动态范围大、噪声多,采集环节若做有损压缩,细节先丢一半,后面的模型再强也补不回来。所以这一环更看重无压缩或近无损接入。

胸片 / DR 台面:工作站输出高分辨率影像,开发板做肺结节、骨折等初筛。单帧分辨率高、帧率低,瓶颈不在带宽而在单帧处理时延与内存占用,AGX Orin 的大内存更有优势。

示教与归档台面:多路视频同录、结构化标注、课后检索。这类应用对算力要求不算极致,但对连续运行稳定性、存储写入可靠性要求很高,M.2 采集加 M.2 存储的组合,正好把两块 M.2 都用在同一块板上。

七、医疗场景的硬约束:无压缩、数据边界、可追溯

医疗影像 AI 与消费级视觉最大的区别,是它必须回答 "数据去哪了"。

第一是无压缩优先。诊断级影像的有损压缩会引入伪影,AI 在伪影上训练出的特征不可靠。采集卡把原始帧交给 GPU,压缩只发生在需要归档或传输的环节,且由使用方明确选择码率与算法。

第二是数据边界。边缘推理意味着原始影像不必上传公网,院内完成推断,只输出结构化结果。对医院而言,这是合规上的实质性差异,而不是宣传话术。

第三是可追溯。每路视频的时间戳、采集参数、模型版本、推理结果要能对应到同一份记录。M.2 采集卡与开发板同源时钟,让 "第几秒第几帧" 成为可查的事实,而不是事后估算。

八、工程化:医疗设备不会为 "实验室性能" 买单

医院不会给设备留机房,也不会容忍工程师每周来一次。

散热要静。医疗台车、内镜塔、超声推车都在患者一米范围内,风扇噪音是体验问题,也是感染控制问题(气流的走向)。所以医疗形态更倾向无风扇导热结构,把热量导到外壳,这对开发板的布局与子板堆叠提出了要求。

供电要稳。台车电池、24V 工业电源、院内 UPS 切换,都会带来波动与瞬断。载板层面的宽压输入、上电时序、反接保护,决定了设备会不会在推车经过一个减速带时重启。

结构要耐。反复推拉、线缆弯折、消毒液擦拭,考验的是连接器锁扣与外壳材料。M.2 卡用螺丝固定而不是插拔式接口,恰好减少了这类失效。

运维要远。设备分布在多个科室,OOB 带外管理子板能远程查看状态、复位与升级,避免工程师为一次死机跑一趟院区。

九、落地路径:从一台样机到一批设备

给集成商一条可执行的路径。

第一步,单科室验证。选一个典型台面,用一块开发板加一张 M.2 采集卡,把 "视频出得来、模型跑得动、结果回得去" 三件事跑通,记录延迟与帧率的波动区间,而不是只记平均值。

第二步,形态收敛。确定用无风扇还是风冷、用几路输入、需不需要第二块 M.2 做本地存储。此时再决定选Orin NX 还是 AGX Orin,比一开始就按峰值算力选型更省钱。

第三步,小批试装。把装配流程固化成图纸与工装,验证批次一致性。M.2 的标准插槽在这一步会体现出价值:装配不依赖个人经验。

第四步,平台化。若项目要继续扩展到多术野、术中实时辅助、结构化归档,再升级到 Thor 平台,软件栈与SDK 保持延续,避免推倒重来。

十、结语

医疗影像 AI 真正难的,从来不是把模型精度再提高一个点,而是让这套系统在科室里安静、稳定、不添乱地跑上三年。算力开发板负责 "算得动",M.2 采集卡负责 "接得进",两者同板直连、同源时钟、同一套 SDK,补上的正是影像设备与 AI 平台之间那最后一公里。

视程空间用 ARC、AIR 系列开发板与 SC 系列采集卡,把这条链路做成了可复现的工程组合:从 34TOPS 的便携设备到 2070 FP4 TFLOPS 的手术室平台,从单路超声到双路 4K 内镜,从样机验证到批量交付。对医疗设备厂商与集成商而言,少一次链路调试,就多一个月临床窗口;这或许比任何一项参数都更值钱。

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐