为什么使用 Kit USD Agents 的四个 MCP Server?

在 NVIDIA Omniverse、USD、Kit 和 Isaac Sim 开发中,开发者经常需要同时查阅 API 文档、扩展说明、代码示例、配置项和 UI 开发资料。仅依赖 GPT 的预训练知识,容易遇到版本不匹配、扩展名称错误或 API 编造等问题。

Kit USD Agents 将这些专业知识整理为四个独立的 MCP Server。GPT 可以通过 MCP 按需搜索相关资料,再基于真实检索结果生成代码和解决方案,从而提高准确性和开发效率。

这四个 MCP Server 分别对应 Omniverse 开发的不同层次:

USD Code MCP       → OpenUSD 数据格式与 API
Kit MCP            → Omniverse Kit 框架与扩展
OmniUI MCP         → Kit 用户界面开发
Isaac Sim MCP      → Isaac Sim 仿真开发

1. USD Code MCP Server

USD Code MCP 面向 OpenUSD 和 USD API 开发,是四个 MCP 中较底层的一个。

它主要提供:

  • 浏览 USD 模块和类;
  • 查询模块、类和方法的详细 API;
  • 搜索 USD 代码示例;
  • 搜索 USD 相关知识。

适合解决以下问题:

如何创建一个 UsdGeom.Mesh?
UsdStage 和 UsdPrim 分别有什么作用?
查找修改 USD 属性的 Python 示例。

它的特点是专注于 OpenUSD 的数据结构和 API,适合编写场景创建、图元操作、属性读写和 USD 文件处理代码。

2. Kit MCP Server

Kit MCP 面向 NVIDIA Omniverse Kit 应用框架,是功能最全面的一个 MCP。

它可以帮助开发者:

  • 搜索 Kit 扩展;
  • 查看扩展详情、依赖关系和 API;
  • 查询 Kit 类和接口;
  • 搜索代码示例和测试示例;
  • 查询 Kit 设置;
  • 查找应用模板;
  • 获取 Kit 开发说明和知识库内容。

例如:

如何创建一个 Kit 扩展?
某个扩展依赖哪些其他扩展?
如何在 Kit 应用中注册一个命令?

Kit MCP 的核心价值在于帮助开发者理解 Omniverse 应用的框架层,包括扩展系统、模块、服务、配置和应用模板。

3. OmniUI MCP Server

OmniUI MCP 专门用于 Omniverse 的界面开发。

它主要提供:

  • OmniUI 类、模块和方法查询;
  • UI 代码示例;
  • 窗口和面板示例;
  • UI 开发指导;
  • 类级别的使用说明;
  • 样式文档;
  • 界面相关 API 查询。

适合解决:

如何创建一个 Omniverse Kit 窗口?
如何使用 OmniUI 创建按钮、列表和输入框?
如何设置 OmniUI 控件的样式?

它与 Kit MCP 的区别是:Kit MCP 面向整个应用框架,OmniUI MCP 更专注于界面、窗口、控件和样式。

4. Isaac Sim MCP Server

Isaac Sim MCP 面向 NVIDIA Isaac Sim 仿真开发,提供 Isaac Sim 专用知识检索。

它包含 5 个主要工具:

  • 搜索 Isaac Sim 开发说明;
  • 搜索 Isaac Sim 扩展;
  • 查询扩展详细信息;
  • 搜索 Isaac Sim 代码示例;
  • 查询 Isaac Sim 设置。

适合解决:

Isaac Sim 中如何使用摄像头?
如何查找 RTX LiDAR 相关扩展?
如何配置 Isaac Sim 中的某项设置?
查找机器人关节控制的 Python 示例。

它的特点是直接面向 Isaac Sim 的扩展目录、代码模式、配置项和开发规范,可以减少 GPT 混淆 Isaac Sim 版本和扩展名称的问题。

为什么要把它们拆成四个 MCP?

Omniverse 的技术栈本身具有明显的层次:

层次对应 MCP主要内容
数据与场景基础USD Code MCPOpenUSD、图元、属性、模块和类
应用框架Kit MCP扩展、依赖、应用模板和 Kit API
用户界面OmniUI MCP窗口、控件、布局和样式
仿真应用Isaac Sim MCP机器人、传感器、仿真扩展和 Isaac Sim 设置

这种拆分有几个好处:

  1. 知识范围更准确
    每个 MCP 只负责一个领域,GPT 更容易找到相关内容。

  2. 减少错误和幻觉
    API、扩展名称和配置项来自实际索引,而不是完全依赖模型记忆。

  3. 支持语义搜索
    不必记住准确的类名或扩展名,可以直接用自然语言描述需求。

  4. 可以独立部署
    只开发 Isaac Sim 时,可以只启动 Isaac Sim MCP;开发 UI 时再使用 OmniUI MCP。

  5. 适合组合使用
    一个完整的 Omniverse 项目可能同时涉及 USD 场景、Kit 扩展、OmniUI 界面和 Isaac Sim 仿真,这时四个 MCP 可以协同工作。

它们是如何工作的?

四个 MCP Server 都采用类似的工作方式:

GPT / Cursor / Claude / VS Code
              ↓
        MCP Server
              ↓
      语义搜索与重排序
              ↓
      NVIDIA Omniverse 知识库
              ↓
        返回文档、API 和示例

默认部署通常使用 NVIDIA 云端的嵌入和重排序服务,因此一般不需要本地 GPU。四个服务在项目的 Docker Compose 配置中使用不同端口:

  • OmniUI MCP:9901
  • Kit MCP:9902
  • USD Code MCP:9903
  • Isaac Sim MCP:9904

总结

Kit USD Agents 的四个 MCP Server,本质上是面向 Omniverse 技术栈的专业知识接口:

  • USD Code MCP:解决 OpenUSD API 和场景数据问题;
  • Kit MCP:解决 Omniverse Kit 框架和扩展问题;
  • OmniUI MCP:解决界面和 UI 开发问题;
  • Isaac Sim MCP:解决机器人仿真和 Isaac Sim 开发问题。

使用它们的主要原因不是让 GPT 具备新的语言能力,而是让 GPT 能够访问结构化、可搜索、与具体版本更匹配的 NVIDIA 专业资料。这样可以将“查文档、找扩展、找示例、写代码”整合到同一个自然语言开发流程中。

需要注意的是,这四个 MCP 主要负责知识检索和开发辅助,并不等同于直接控制 Omniverse 或 Isaac Sim。若需要在场景中执行代码、修改场景或进行交互式操作,还需要使用相应的 Kit 扩展或其他执行工具。

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐