边缘计算
人工智能
RK3588
大模型
嵌入式

把 35B 大模型搬进边缘：AIBOX PRO 的「双异构」架构到底怎么玩

最近在折腾边缘 AI 设备，手上拿到一份 AIBOX PRO 的规格书。说实话，现在宣称「能跑大模型」的盒子一抓一大把，但大多是把一颗 SoC 硬撑，散热和带宽一上来就露馅。AIBOX PRO 有意思的地方在于它的架构思路：不是一颗芯片扛所有，而是「主模组 + 副模组」分体式异构。这篇就基于规格书，把它拆开聊聊。

整机是 160×111×61mm 的全铝合金外壳，灰黑色调，正面除了电源键就是几颗状态指示灯，工业风很足。内置风扇 + 导热壳体，标称 7×24 不间断运行，工作温度 -20℃~60℃。这个体积塞进机柜、挂在设备旁边都不会太占地方。

为什么是「双异构」而不是「单芯片」

传统边缘盒子，AI 推理和视频处理挤在同一颗芯片上，算力一紧张就互相抢资源。AIBOX PRO 把活儿拆了：

主模组（Core-3588JD4 / Core-3576JD4）负责任务调度和数据预处理——说白了就是「大脑」；副模组专门负责 AI 推理的核心算力输出，两者通过板载 PCIe 高速互联，做模型并行、多任务协同。

这套设计对机器人导航、多模态感知这类场景很实用：感知和决策能分到不同模组上跑，延迟压得住。

主模组：8K 编解码是硬实力

主模组给了两个选项，都带 6TOPS(INT8) 的 NPU：

• RK3588（Core-3588JD4）：LPDDR4/LPDDR4x 最高 32GB，eMMC 最高 256GB，8K@30fps 编解码。
• RK3576（Core-3576JD4）：内存最高 16GB，eMMC 最高 256GB，4K@60fps 编码、8K@30fps 解码。

我觉得 RK3588 版本更值得选——内置 VPU 直接扛 8K 视频编解码，还能硬件加速图像缩放裁剪，多通道 4K 视频流并行处理不占 NPU 的算力。对智能安防、交通管理这种多路视频场景，这点很关键。

副模组：真正的大模型算力底座

这才是重头戏。副模组走 M.2 M-KEY，官方标配两种：

• RK1828：片内 5GB DRAM，20TOPS(INT8)，能流畅跑 7B 以内的大模型。
• 后摩 LQ50：48GB LPDDR5，160TOPS(INT8)，能流畅跑 35B 以内的大模型。

划重点：LQ50 用的是存算一体（compute-in-memory）设计。大模型推理的瓶颈往往不是峰值算力，而是 DRAM 带宽——数据在算力和内存之间来回搬才是真正的耗时点。存算一体把计算贴近存储，直接拉高 TPS、压低首帧延时。这一点我觉得是 LQ50 比单纯堆 TOPS 聪明的地方。

存储扩展：模型权重别卡在容量上

跑 35B 模型，光权重就好几十 GB，本地存储得上 TB。AIBOX PRO 给了：

• 2 × M.2 M-KEY（板内，可扩 2260/2280 加速卡）
• 1 × M.2 M-KEY PCIe4.0 x4 NVMe 2280
• 1 × SATA3.0、1 × TF Card

用户自己还能加装任意品牌 M.2 加速卡。对需要本地囤大模型权重、又不想上云的业务，这套扩展能力很对路。

接口说明：工业场景的诚意

边缘设备最后落地的都是接口。AIBOX PRO 给得挺全，下面是规格书里整理出来的接口清单：

接口类型	数量/规格	说明
DC 电源	1×5.5×2.1mm	12V/5A，支持 9V~36V 宽压输入
以太网	2×RJ45	千兆 1000Mbps
USB	2×USB3.0 + 1×Type-C OTG + 1×Type-C Debug	USB3.0 单口限流 1A；Debug 口用于固件调试
HDMI	1×HDMI2.1	最高 4K@60Hz
音频	Line In + Line Out	3.5mm 耳机接口
TF Card	1	本地存储扩展
SIM Card	1	配合 4G/5G Mini PCIe 模块
无线	Wi-Fi + 蓝牙 + 4G/5G	2.4/5GHz Wi-Fi、BT5.2；4G/5G 通过 Mini PCIe 扩展
按键	电源键 + 升级键	升级键用于固件烧录/Recovery
天线	2×Wi-Fi 天线 + 1×4G 天线	-

正面比较简洁，主要是网口指示灯、电源指示灯、自定义指示灯和电源键。背面才是干活的地方：双千兆、双 USB3.0、HDMI、凤凰端子座、DC 电源、音频、SIM 卡、TF 卡、两个 Type-C 以及三根天线座都集中在一侧，布线很方便。

凤凰端子座（8Pin-3.5mm）引脚定义

凤凰端子座是工业场景最实用的部分之一，引脚排列如下：

RS485_B | CAN_L | DI_COM | DO_COM
RS485_A | CAN_H | DI     | DO

• RS485：A/B 两线，接 PLC、变频器、传感器等工业设备。
• CAN-FD：CAN_H / CAN_L，适合车载、机器人、运动控制总线。
• DI/DO：2 路光耦隔离数字输入 + 2 路数字输出，带公共端 DI_COM / DO_COM。

RS485 和 CAN-FD 直接给到端子排，做工业自动化、机器人控制基本不用转接板。这点对现场部署很省心。

功耗和体积：能进机柜才是真边缘

尺寸 160×111×61mm，全铝合金外壳 + 内置风扇，标称 7×24 不间断运行，工作温度 -20℃~60℃。

功耗数据也实在（12V 输入）：

• RK3588 + 1×RK1828：典型 9.6W，最大 16.8W
• RK3588 + 1×LQ50：典型 8.4W，最大 28.8W
• RK3576 + 1×RK1828：典型 8.4W，最大 10.8W

满配双 RK1828 也就 22.8W 封顶。巴掌大的盒子塞进机柜、挂在设备上跑，功耗和散热都不用太操心。

写在最后

坦白讲，AIBOX PRO 最让我认可的不是某一项参数有多炸，而是「主副模组 + 存算一体」这个思路：把调度、视频、推理各归各位，再针对性解决带宽和散热。对做机器人、智能安防、工业边缘推理的团队，这种分体式架构比单芯片硬扛要舒服得多。

如果你也在选边缘 AI 盒子，建议别只盯 TOPS 数字，多看看 PCIe 互联、存算一体和接口扩展——这些才是真实落地时最磨人的地方。下一篇打算聊聊副模组 LQ50 的实际部署体验，感兴趣的可以关注一下。