vla.cpp部署（无CUDA版）

qgh1223

32人浏览 · 2026-10-12 14:00:22

qgh1223 · 2026-10-12 14:00:22 发布

vla.cpp是一种针对VLA模型的推理引擎。本文介绍部署的细节：

安装依赖

sudo apt install -y \
  libprotobuf-dev protobuf-compiler \
  libzmq3-dev
sudo apt install -y \
  libssl-dev \
  nlohmann-json3-dev

编译命令

rm -rf build
cmake -B build -DCMAKE_BUILD_TYPE=Release
cmake --build build -j$(nproc)

推断命令

以SmolVLA模型为例：

./build/vla-cli   --ckpt models/smolvla/smolvla-libero.gguf   --image assets/front.jpg --tokens 1,100,200,2 --pretty

权重转GGUF格式的命令

python scripts/convert_smolvla_to_gguf.py \
  --ckpt smolvla_base \
  --out models/smolvla_mushroom_base.gguf

smolvla_base 文件夹对应微调后得到的权重文件夹

DAMO开发者矩阵

DAMO开发者矩阵，由阿里巴巴达摩院和中国互联网协会联合发起，致力于探讨最前沿的技术趋势与应用成果，搭建高质量的交流与分享平台，推动技术创新与产业应用链接，围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐

机器人日志系统技术突破与未来挑战

机器人日志系统正从传统文本记录演变为支撑具身智能与大规模车队的“数字神经中枢”。通过零拷贝架构、事件驱动剪辑、纳秒级时钟同步与确定性回放，实现高吞吐多模态数据的低干扰采集与精准故障溯源。未来需突破边缘存储、版本兼容、实时性保障与隐私合规等瓶颈，构建“端-云一体”的数据飞轮，成为提升机器人可靠性与迭代效率的核心基础设施。