把大模型放进设备里,LattePanda Mu Ultra 来了!面向端侧 AI 的微型 x86 计算模块

给机器人加上本地语音助手,或让手持仪器用 AI 分析数据,选计算模块时,不能只看算力。设备里能留出多大空间,已有的软件或载板能否继续使用,同样影响着项目如何落地。
LattePanda Mu Ultra 就是为这类设备准备的微型 x86 计算模块。它将英特尔酷睿 Ultra 7 256V 处理器和 16GB 内存集成在 69.6 × 60mm 的模块上,让空间受限的设备也能部署本地 AI。

大模型在本地,能跑到什么速度?
先看具体的模型推理表现。

在使用 OpenVINO GenAI、iGPU 和 INT4 量化的测试中,Mu Ultra 的文本生成速度为:
-
Qwen3.5-9B:18 tokens/s
-
Qwen3.5-2B:55 tokens/s
这里的数字对应上述模型和测试条件,并非所有模型、所有部署方式下的统一速度。
对于本地语音助手、离线文档处理和私有知识检索,这意味着可以把模型推理留在设备端,减少对云端推理的依赖,也减少为推理而上传敏感数据的需要。
115 TOPS 之外,内存和功耗也要看
Mu Ultra 搭载的英特尔酷睿 Ultra 7 256V 处理器集成了 CPU、GPU 和 NPU,综合 AI 算力最高为 115 TOPS(INT8),其中 NPU 算力最高为 47 TOPS(INT8)。

运行大语言模型,还需要内存配合。Mu Ultra 配备 16GB LPDDR5X-8533 内存,其中最高 11.6GB 可分配为显存,用于语言模型及其 KV Cache 等负载。这套内存配置也面向多模态 AI 和实时传感器处理应用。
功耗方面,模块空闲功耗低至 2.5W。对于便携设备和需要长时间运行的系统,这是选型时可以关注的一项指标;它指的是空闲状态,不是运行 AI 负载时的功耗。
已有的 x86 软件和载板,尽量接着用
把 AI 加入现有设备,硬件之外还有软件适配的问题。
Mu Ultra 支持 Windows 和 Linux,兼容现有 x86 软件生态,也支持 Intel OpenVINO、llama.cpp、Ollama 等 AI 工具和框架。工程团队可以在已有 x86 应用和开发流程的基础上增加端侧 AI 能力,不必从头重建整套系统。
硬件上,Mu Ultra 延续了 LattePanda Mu 系列的标准化尺寸和接口,与现有载板高度兼容,支持搭配 3.5 英寸 Lite 载板或Mini 载板使用,为现有系统提供模块化升级的方式。
模块提供 PCIe 4.0、USB 3.2 Gen 2、USB 2.0、HDMI/DisplayPort、eDP、GPIO、UART 和 I2C 等接口,面向原型验证、小批量开发和量产集成。
可以把它用在哪些设备里?
Mu Ultra 面向的是需要把 AI 计算放在本地、又对硬件空间有要求的设备。下面是几个应用方向。
智能 AI 终端
翻译设备、语音助手和私有知识库终端,可以在设备本地运行大语言模型,兼顾响应延迟和数据隐私需求。

便携式仪器
频谱分析仪、便携式诊断设备等手持仪器,可以利用 x86 计算能力进行实时分析,并加入 AI 辅助处理。

自主移动机器人(AMR)
在空间受限的机器人内部,使用紧凑的计算模块承载实时传感器融合、SLAM 和自主导航任务。

服务机器人
在同一个计算模块上处理视觉、语音和基于大语言模型的多模态 AI 负载,为服务机器人提供一体化处理核心。

端侧视觉 AI
智能相机和机器人检测系统,可以在本地处理高清视频,用于低延迟缺陷检测,减少数据传输和云端计算需求。

核心规格速览
-
处理器: 英特尔® 酷睿™ Ultra 7 处理器 256V(16GB 内存)
-
综合 AI 算力: 最高 115 TOPS(CPU + GPU + NPU,INT8)
-
NPU 算力: 最高 47 TOPS(INT8)
-
GPU: 英特尔® Arc™ 显卡,最高 8 个 Xe 核心
-
内存: 16GB LPDDR5X-8533
-
可分配显存: 最高 11.6GB,支持更大语言模型和 KV Cache
-
显示输出: 最高 3 × HDMI / DisplayPort,以及 1 × eDP
-
模块尺寸: 69.6 × 60mm
查看产品详情
LattePanda Mu Ultra 组合套餐推出限时早鸟优惠,直降 300 元!
套餐配置、优惠价格和购买信息,可查看 DFRobot 官方商城商品页。具体优惠以商品页面为准。
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐


所有评论(0)