• 阶段一：VLA 基础原理

    掌握 Transformer、Attention、ViT、VLM、多模态 Token、行为克隆和机器人动作表示。目标是能解释 VLA 如何从一张图像预测机械臂动作。

  • 阶段二：读懂 OpenVLA

    重点研究 DINOv2、SigLIP、MLP Projector、Llama 2、Action Tokenization，以及模型训练时的损失函数和动作归一化。

  • 阶段三：学习现代动作生成

    理解 ACT 的 Action Chunking、Diffusion Policy 和 Flow Matching，再阅读 π₀ 与 SmolVLA。

  • 阶段四：代码复现

    使用 LeRobot 的公开数据集，在 RTX 3090 上尝试 SmolVLA 微调，观察输入张量、动作输出、训练损失以及推理结果。

  • 阶段五：仿真与实机结合

    先在 LIBERO 等基准环境验证，再研究动作坐标系、控制接口、安全约束以及 Flexiv 机械臂的数据采集与部署。

# 人工智能
Logo
DAMO开发者矩阵

DAMO开发者矩阵，由阿里巴巴达摩院和中国互联网协会联合发起，致力于探讨最前沿的技术趋势与应用成果，搭建高质量的交流与分享平台，推动技术创新与产业应用链接，围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐

cover

赵哥讲方案： “科技—基建—运营—三网—AI全链条”的方向感

avatar DAMO开发者矩阵

VLN和VLA中出现的问答对

视觉-语言模型（VLMs）在静态视觉输入下展现出了令人瞩目的空间推理能力，在这种情况下，回答问题所需的证据在提供的视图中是可用的。然而，在杂乱的环境中，与答案相关的证据可能是被遮挡了，而非不存在：一个物体可能躺在一堆东西下面，被另一个物体覆盖，或者带有标识信息的一面背对相机。回答这类问题需要物理交互来揭示隐藏的证据。

avatar DAMO开发者矩阵

基于多智能体协同架构的Customer-Agent开源项目深度解析与自动化客户服务实战指南

在人工智能技术飞速迭代的今天，传统的关键词匹配型客服机器人已难以满足企业对于服务质量和用户体验的极致追求。GitHub上的项目正是为了打破这一僵局而生。它并非一个简单的问答脚本，而是一个基于大语言模型（LLM）构建的、具备高度自主性和协同能力的智能体系统。该项目旨在通过模拟真实人类客服团队的协作模式，利用多智能体（Multi-Agent）架构，实现从客户咨询接入、意图识别、任务处理到最终反馈的全流

avatar DAMO开发者矩阵