Llama.cpp v1.0重磅发布,本地推理迈入稳定时代
每周AI工具/模型更新报告(2026.11.09-2026.11.16)
一、LLM推理优化重大突破
llama.cpp v1.0.0正式发布,本地大模型推理迎来稳定API版本
Hugging Face正式推出llama.cpp v1.0.0版本,首次承诺API稳定性,启用语义化版本管理,清理35个废弃接口,新增FP8 KV缓存、MoE专家缓存及TTS语音能力,支持超150种模型架构 。此次更新标志着本地AI推理从实验工具转向可长期商用集成的底层库,大幅降低本地大模型落地门槛 。
面壁智能推出LES前瞻专家调度方案,35B多模态模型仅占3GB内存
面壁智能发布MiniCPM-V 4.7 35B-A3B多模态模型,采用MoE混合专家架构配合自研LES前瞻专家调度技术,推理时仅激活30亿参数,运行内存约3GB,峰值生成速度达30token/s,支持iOS、安卓、鸿蒙多平台断网本地运行 。该方案通过将专家权重存放于闪存并预加载,实现计算与读取并行,突破手机端侧大模型内存瓶颈。
二、Agent智能体框架新进展
SGLang Trainium接入AgentX与InferenceX,统一智能体评测标准
亚马逊科学团队推动SGLang Trainium插件接入AgentX智能体评测框架和InferenceX推理基准框架,使AWS Trainium芯片上的SGLang推理引擎可直接运行智能体任务测试并产出标准化跑分数据 。该对接支持Trainium2/3实例,复用Radix前缀缓存降低智能体多轮对话成本,实现与GPU、TPU平台的横向性能对比。
RuHarness框架实现诊断标准与Harness协同演化,解决Agent自我改进痛点
RuHarness框架针对Agent自我优化过程中静态诊断标准跟不上的问题,建立rubric诊断标准与Harness运行脚手架协同演化闭环,通过轨迹采集、弱点挖掘、标准更新、Harness优化、回归验证的交替迭代流程,持续追踪Agent新暴露的缺陷 。该方案在代码实现和软件工程类基准测试上效果显著优于静态评测基线。
三、多模态与具身智能生态突破
眸深智能发布三大具身智能核心产品,推理提速24.84倍
眸深智能在进博会发布新一代具身原生模型"眸深·深悟",采用一步动作生成与视觉动作层叠并行技术,推理最高提速24.84倍,仅新增13.4M轻量参数即可高效优化 。同时发布具身智能Infra架构"眸深·深枢"及家用世界模型FWM,联合42家机构组建通用具身大脑产业创新联合体,推动国产具身智能规模化商用。
核心能力对比表
| 工具/模型 | 核心能力 | 技术亮点 | 应用场景 |
|---|---|---|---|
| llama.cpp v1 | 本地LLM推理 | 稳定API、FP8缓存、150+模型支持 | 本地部署、边缘计算 |
| MiniCPM-V 4.7 | 端侧多模态 | LES调度、3GB内存、30token/s | 手机端图文理解 |
| SGLang Trainium | Agent评测 | Radix缓存、统一跑分标准 | 智能体任务优化 |
| RuHarness | Agent自改进 | 动态rubric、协同演化 | 长期Agent迭代 |
| 眸深·深悟 | 具身智能 | 一步动作生成、提速24倍 | 机器人作业控制 |
配图说明
注:以下为建议配图位置及内容描述
配图1:llama.cpp v1版本更新架构图(展示语义化版本规则、FP8缓存流程、多平台分发渠道)
配图2:LES前瞻专家调度工作原理示意图(对比传统加载方式与LES并行预加载机制)
配图3:RuHarness协同演化闭环流程图(轨迹采集→弱点挖掘→rubric更新→Harness优化→回归验证)
配图4:眸深智能三大产品技术架构图(深悟模型、深枢Infra、FWM世界模型的关系)
总结
本周AI领域更新呈现三大趋势:本地推理基础设施趋于成熟(llama.cpp v1稳定API)、端侧大模型突破内存限制(面壁智能LES方案)、Agent评测体系标准化(SGLang+AgentX对接)。多模态与具身智能方向,国产厂商进展显著,眸深智能一步动作生成技术将推理速度提升近25倍,标志着具身大脑从硬件比拼转向智能能力竞争 。开发者可重点关注llama.cpp v1的API迁移、MiniCPM-V 4.7的端侧部署方案,以及RuHarness在Agent长期迭代中的应用价值。
参考来源
- Hugging Face 官宣 llama.cpp v1 正式发布,本地大模型推理迎来稳定 API 版本_大广网
- 本地推理引擎 llama.cpp 1.0.0 史诗级更新:支持超 150 种模型架构,断网也能满血跑大模型 - IT之家
- AmazonScience 推进 SGLang Trainium 对接 AgentX 与 InferenceX_大广网
- Agent 自我改进诊断标准需同步迭代,RuHarness 实现 Harness 跟随新弱点持续优化_极客范_中国科技网站门户,报道最新科技新闻
- 聚焦进博|进博看新AI,国产具身智能生态迎来新突破→_上观新闻
- 面壁智能推出 LES 前瞻专家调度方案 实现手机搭载更大端侧模型_极客范_中国科技网站门户,报道最新科技新闻
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐



所有评论(0)