kit-usd-agents的MCP Server介绍
为什么使用 Kit USD Agents 的四个 MCP Server?
在 NVIDIA Omniverse、USD、Kit 和 Isaac Sim 开发中,开发者经常需要同时查阅 API 文档、扩展说明、代码示例、配置项和 UI 开发资料。仅依赖 GPT 的预训练知识,容易遇到版本不匹配、扩展名称错误或 API 编造等问题。
Kit USD Agents 将这些专业知识整理为四个独立的 MCP Server。GPT 可以通过 MCP 按需搜索相关资料,再基于真实检索结果生成代码和解决方案,从而提高准确性和开发效率。
这四个 MCP Server 分别对应 Omniverse 开发的不同层次:
USD Code MCP → OpenUSD 数据格式与 API
Kit MCP → Omniverse Kit 框架与扩展
OmniUI MCP → Kit 用户界面开发
Isaac Sim MCP → Isaac Sim 仿真开发
1. USD Code MCP Server
USD Code MCP 面向 OpenUSD 和 USD API 开发,是四个 MCP 中较底层的一个。
它主要提供:
- 浏览 USD 模块和类;
- 查询模块、类和方法的详细 API;
- 搜索 USD 代码示例;
- 搜索 USD 相关知识。
适合解决以下问题:
如何创建一个 UsdGeom.Mesh?
UsdStage 和 UsdPrim 分别有什么作用?
查找修改 USD 属性的 Python 示例。
它的特点是专注于 OpenUSD 的数据结构和 API,适合编写场景创建、图元操作、属性读写和 USD 文件处理代码。
2. Kit MCP Server
Kit MCP 面向 NVIDIA Omniverse Kit 应用框架,是功能最全面的一个 MCP。
它可以帮助开发者:
- 搜索 Kit 扩展;
- 查看扩展详情、依赖关系和 API;
- 查询 Kit 类和接口;
- 搜索代码示例和测试示例;
- 查询 Kit 设置;
- 查找应用模板;
- 获取 Kit 开发说明和知识库内容。
例如:
如何创建一个 Kit 扩展?
某个扩展依赖哪些其他扩展?
如何在 Kit 应用中注册一个命令?
Kit MCP 的核心价值在于帮助开发者理解 Omniverse 应用的框架层,包括扩展系统、模块、服务、配置和应用模板。
3. OmniUI MCP Server
OmniUI MCP 专门用于 Omniverse 的界面开发。
它主要提供:
- OmniUI 类、模块和方法查询;
- UI 代码示例;
- 窗口和面板示例;
- UI 开发指导;
- 类级别的使用说明;
- 样式文档;
- 界面相关 API 查询。
适合解决:
如何创建一个 Omniverse Kit 窗口?
如何使用 OmniUI 创建按钮、列表和输入框?
如何设置 OmniUI 控件的样式?
它与 Kit MCP 的区别是:Kit MCP 面向整个应用框架,OmniUI MCP 更专注于界面、窗口、控件和样式。
4. Isaac Sim MCP Server
Isaac Sim MCP 面向 NVIDIA Isaac Sim 仿真开发,提供 Isaac Sim 专用知识检索。
它包含 5 个主要工具:
- 搜索 Isaac Sim 开发说明;
- 搜索 Isaac Sim 扩展;
- 查询扩展详细信息;
- 搜索 Isaac Sim 代码示例;
- 查询 Isaac Sim 设置。
适合解决:
Isaac Sim 中如何使用摄像头?
如何查找 RTX LiDAR 相关扩展?
如何配置 Isaac Sim 中的某项设置?
查找机器人关节控制的 Python 示例。
它的特点是直接面向 Isaac Sim 的扩展目录、代码模式、配置项和开发规范,可以减少 GPT 混淆 Isaac Sim 版本和扩展名称的问题。
为什么要把它们拆成四个 MCP?
Omniverse 的技术栈本身具有明显的层次:
| 层次 | 对应 MCP | 主要内容 |
|---|---|---|
| 数据与场景基础 | USD Code MCP | OpenUSD、图元、属性、模块和类 |
| 应用框架 | Kit MCP | 扩展、依赖、应用模板和 Kit API |
| 用户界面 | OmniUI MCP | 窗口、控件、布局和样式 |
| 仿真应用 | Isaac Sim MCP | 机器人、传感器、仿真扩展和 Isaac Sim 设置 |
这种拆分有几个好处:
-
知识范围更准确
每个 MCP 只负责一个领域,GPT 更容易找到相关内容。 -
减少错误和幻觉
API、扩展名称和配置项来自实际索引,而不是完全依赖模型记忆。 -
支持语义搜索
不必记住准确的类名或扩展名,可以直接用自然语言描述需求。 -
可以独立部署
只开发 Isaac Sim 时,可以只启动 Isaac Sim MCP;开发 UI 时再使用 OmniUI MCP。 -
适合组合使用
一个完整的 Omniverse 项目可能同时涉及 USD 场景、Kit 扩展、OmniUI 界面和 Isaac Sim 仿真,这时四个 MCP 可以协同工作。
它们是如何工作的?
四个 MCP Server 都采用类似的工作方式:
GPT / Cursor / Claude / VS Code
↓
MCP Server
↓
语义搜索与重排序
↓
NVIDIA Omniverse 知识库
↓
返回文档、API 和示例
默认部署通常使用 NVIDIA 云端的嵌入和重排序服务,因此一般不需要本地 GPU。四个服务在项目的 Docker Compose 配置中使用不同端口:
- OmniUI MCP:
9901 - Kit MCP:
9902 - USD Code MCP:
9903 - Isaac Sim MCP:
9904
总结
Kit USD Agents 的四个 MCP Server,本质上是面向 Omniverse 技术栈的专业知识接口:
- USD Code MCP:解决 OpenUSD API 和场景数据问题;
- Kit MCP:解决 Omniverse Kit 框架和扩展问题;
- OmniUI MCP:解决界面和 UI 开发问题;
- Isaac Sim MCP:解决机器人仿真和 Isaac Sim 开发问题。
使用它们的主要原因不是让 GPT 具备新的语言能力,而是让 GPT 能够访问结构化、可搜索、与具体版本更匹配的 NVIDIA 专业资料。这样可以将“查文档、找扩展、找示例、写代码”整合到同一个自然语言开发流程中。
需要注意的是,这四个 MCP 主要负责知识检索和开发辅助,并不等同于直接控制 Omniverse 或 Isaac Sim。若需要在场景中执行代码、修改场景或进行交互式操作,还需要使用相应的 Kit 扩展或其他执行工具。
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐



所有评论(0)