OpenMontage：首个开源 Agentic 视频生产系统——把你的 AI 编程助手变成完整视频工作室

12 条生产管线 · 52+ 工具 · 500+ Agent Skills · 零 API Key 也可用

一、项目概述

1.1 核心定位

OpenMontage 是全球首个开源的 Agentic 视频生产系统。它的核心理念极具颠覆性——将你日常使用的 AI 编程助手（Claude Code、Cursor、Copilot、Windsurf、Codex 等）转变为一个完整的视频制作工作室。

你只需用自然语言描述需求，AI Agent 便自动处理：

  • 📊 研究调研 — 分析主题、收集素材
  • 📝 脚本编写 — 生成叙事结构、字幕文案
  • 🎨 资产创作 — 调用图像/视频生成工具
  • 🎬 剪辑合成 — 智能编排场景、添加特效
  • 📤 最终交付 — 渲染输出、质量自检

GitHub 地址：https://github.com/calesthio/OpenMontage

许可证：GNU AGPLv3

1.2 项目热度

指标数值
⭐ Stars5,616
🍴 Forks1,021
👀 Watchers53
📅 创建日期2026-03-29
🔄 最后更新2026-06-18

项目仅用 3 个月 便积累了显著关注度，Fork 比率极高表明大量用户正在尝试使用和贡献。

二、技术架构解析

2.1 Agent-First 架构（指令驱动）

OpenMontage 采用独特的 Agent-First 架构，这是其最大创新点：

┌─────────────────────────────────────────────────────────────┐
│                     AI Agent（智能核心）                      │
│                                                             │
│  ┌─────────┐    ┌─────────┐    ┌─────────┐    ┌─────────┐  │
│  │读取 YAML│ → │读取技能 │ → │调用工具 │ → │自我审查 │  │
│  │管道清单 │    │指令文件 │    │执行任务 │    │质量检查 │  │
│  └─────────┘    └─────────┘    └─────────┘    └─────────┘  │
└─────────────────────────────────────────────────────────────┘
                              ↓
        ┌─────────────────────────────────────────┐
        │  Python Tools（工具层）— 提供"手"的能力  │
        │  · BaseTool 基类 · 52+ 工具实现         │
        └─────────────────────────────────────────┘

核心设计原则：

原则说明
无 Python 编排器AI Agent 本身就是编排器，智能逻辑存在于 Markdown 技能文件中
无运行时 LLM 调用用户 IDE 中的编程助手即是 LLM，工具直接调用领域 API
双提供商策略每个能力必须同时支持云端 API 和本地开源方案

2.2 三层知识架构

┌─────────────────────────────────────────────────────────┐
│ Layer 1: tools/ + pipeline_defs/                        │
│ → "有哪些能力" — 可执行工具 + 管道编排定义               │
├─────────────────────────────────────────────────────────┤
│ Layer 2: skills/                                        │
│ → "如何使用" — OpenMontage 约定和质量标准               │
├─────────────────────────────────────────────────────────┤
│ Layer 3: .agents/skills/                                │
│ → "技术如何工作" — 外部技术知识包（API 规则、提示技巧）  │
└─────────────────────────────────────────────────────────┘

每个工具通过 agent_skills[] 字段连接 Layer 1 → Layer 3，实现知识的自动关联。

2.3 技术栈概览

层级技术用途
后端工具层Python 3.10+52+ 生产工具实现，BaseTool 统一契约
合成引擎层Node.js 18+ / TypeScriptRemotion React 渲染 + HyperFrames GSAP
媒体处理FFmpeg编码、字幕烧录、音频混音、色彩校正
配置管理YAML + JSON Schema管道定义、样式配置、契约验证
数据验证Pydantic 2.0运行时配置模型、强类型校验

三、生产管线体系

3.1 标准 Pipeline 流程

每个 Pipeline 遵循 8 阶段标准流程：

research → proposal → script → scene_plan → assets → edit → compose → publish
阶段功能输出
Research主题调研、素材收集调研报告
Proposal方案设计、成本估算提案文档
Script叙事脚本、字幕文案脚本 JSON
Scene Plan场景编排、时间轴规划场景清单
Assets调用工具生成资产资产目录
Edit剪辑决策、特效指令编辑决策 JSON
Compose渲染合成输出视频
Publish质量自检、交付最终成品

3.2 12 条生产 Pipeline

Pipeline类型适用场景典型输出
Animated ExplainerAI 生成教育内容、教程数据可视化讲解视频
Animation动画优先社交媒体、产品演示动态图形动画
Avatar SpokespersonAvatar 演示企业宣传、培训AI 头像讲解视频
Cinematic电影风格品牌影片、预告片电影质感短片
Clip Factory批量剪辑长视频切片短视频片段集
Documentary Montage纪录片蒙太奇视频散文、氛围作品真实素材剪辑
Hybrid混合模式素材+AI 辅助原始素材增强视频
Localization & Dub本地化配音多语言分发翻译配音版本
Podcast Repurpose播客转化精选片段播客视频剪辑
Screen Demo屏幕演示产品教程、文档终端演示视频
Talking Head说话人镜头演讲、访谈真人演讲视频
Character Animation角色动画SVG 角色GSAP 时间轴动画

四、工具系统详解

4.1 BaseTool 统一契约

所有工具继承自 BaseTool 基类，实现标准化接口：

class BaseTool(ABC):
    # 身份字段
    name: str           # 工具名称
    version: str        # 版本号
    tier: ToolTier      # 分层：CORE, VOICE, ENHANCE, GENERATE...
    capability: str     # 能力类型：tts, image_generation, video_post...
    provider: str       # 提供商：elevenlabs, ffmpeg, selector...
    
    # 能力声明
    best_for: list[str]        # 最佳适用场景
    not_good_for: list[str]    # 不适用场景
    agent_skills: list[str]    # Layer 3 技能引用
    
    # 资源与策略
    resource_profile: ResourceProfile  # 资源需求
    retry_policy: RetryPolicy          # 重试策略
    fallback_tools: list[str]          # 降级链
    
    # 核心方法
    def execute(self, inputs: dict) -> ToolResult
    def estimate_cost(self, inputs: dict) -> float
    def get_status(self) -> ToolStatus

4.2 工具分类统计

目录工具数量功能领域
tools/video/~15视频生成、合成、拼接、裁剪
tools/audio/~14TTS（ElevenLabs/Google/OpenAI/Piper/豆包）、音乐生成、音频增强
tools/graphics/~10图像生成（FLUX/DALL-E/Imagen）、图表、数学动画
tools/analysis/~12视频分析、转录、场景检测、帧采样
tools/enhancement/~6上采样、背景移除、面部增强
tools/avatar/~3Talking head 动画、唇形同步
tools/character/~5本地角色动画、SVG rig、姿态库
tools/subtitle/~3SRT/VTT 字幕生成

4.3 选择器模式

三大 选择器工具 抽象多提供商能力，实现智能路由：

tts_selector    → 路由所有 TTS 工具（ElevenLabs / Google / OpenAI / Piper / 豆包）
image_selector  → 路由所有图像生成工具（FLUX / DALL-E / Imagen / Stable Diffusion）
video_selector  → 路由所有视频生成工具（Kling / Runway / Veo / Seedance...）

选择器通过 7 维度评分引擎 自动选择最优提供商：

维度权重
任务适配30%
输出质量20%
控制功能15%
可靠性15%
成本效率10%
延迟5%
连续性5%

五、Provider 生态系统

5.1 视频生成提供商（14 个）

提供商类型特点成本
KlingCloud API高质量、快速付费
Runway Gen-4Cloud API电影级质量，Elo 排名第一付费
Google Veo 3Cloud API长视频、电影风格付费
Seedance 2.0Cloud API高级视频生成（默认首选）付费
MiniMaxCloud API成本效益高付费
WAN 2.1Local GPU免费，1.3B 和 14B 版本免费
HunyuanLocal GPU免费、高质量免费
CogVideoLocal GPU免费，2B 和 5B 版本免费
LTX-VideoLocal GPU / Modal本地免费或云端托管免费
Pexels / Pixabay / WikimediaStock免费素材免费

5.2 图像生成提供商（10 个）

提供商类型特点
FLUXCloud API业界领先质量
Google Imagen 4Cloud API高质量、多比例
Grok Imagine ImageCloud API强编辑和风格迁移
DALL-E 3Cloud APIOpenAI 图像模型
RecraftCloud API设计导向生成
Local DiffusionLocal GPUStable Diffusion，免费
Pexels / Pixabay / UnsplashStock免费素材

5.3 文本转语音提供商（5 个）

提供商类型特点成本
ElevenLabsCloud API专业级音质10K 字符/月免费
Google TTSCloud API700+ 声音、50+ 语言付费
OpenAI TTSCloud API快速、经济付费
PiperLocal完全免费、离线免费
Doubao 豆包Cloud API中文优化付费

5.4 合成引擎

引擎技术栈适用场景
RemotionReact + TypeScript数据可视化、文字动画、Spring 物理过渡、字幕合成
HyperFramesHTML + CSS + GSAP动态排版、产品宣传、角色动画、网站转视频
FFmpeg命令行核心视频组装、字幕烧录、音频混音

六、零 API Key 免费路径

OpenMontage 支持 完全零成本 视频生产：

能力免费工具说明
配音Piper TTS离线文本转语音，完全免费
开源素材Archive.org + NASA + Wikimedia免费/开放档案素材
免费素材Pexels + Unsplash + Pixabay开发者 Key 免费
合成RemotionReact 渲染——Spring 动画、文字卡片
合成HyperFramesHTML/GSAP 渲染——动态排版
后期FFmpeg编码、字幕、音频混音
字幕内置自动生成带时间戳字幕
本地视频生成WAN 2.1 / Hunyuan / CogVideoLocal GPU，完全免费

两条免费生产路径：

  1. 图像视频路径：Piper 配音 + FLUX/本地图像 + Remotion Ken Burns 动画合成
  2. 真实素材路径：Documentary Montage Pipeline 从开源档案构建 CLIP 搜索库，剪辑真实动态素材

七、质量治理体系

7.1 预合成验证门控

在渲染前执行质量检查，阻止浪费 GPU 时间：

门控功能
交付承诺验证阻止"运动主导"视频使用 80% 静态图像
幻灯片风险评分6 维度分析（重复、装饰视觉、弱运动…）
缺失渲染器检查检测损坏的计划配置
运行时契约验证确保 render_runtime 与编辑决策一致

7.2 后渲染自检

渲染完成后自动执行质量审计：

检查项方法
视频验证ffprobe 检查格式、时长、帧率
帧采样4 位置帧采样检查黑帧和损坏叠加
音频分析静音检测、削波检测
字幕验证检查字幕文件存在和格式
交付承诺复核验证最终成品符合承诺

7.3 决策审计追踪

每个关键决策都记录在审计日志：

  • 提供商选择及理由
  • 风格/Playbook 选择
  • 音乐轨道选择
  • 语音选择
  • 渲染引擎选择
  • 降级/替代方案
  • 置信度评分

7.4 预算控制

# config.yaml 预算配置示例
budget:
  mode: warn                     # observe | warn | cap
  total_usd: 10.00               # 总预算上限
  reserve_pct: 0.10              # 预留比例
  single_action_approval_usd: 0.50  # 单操作审批阈值

八、典型应用案例

8.1 演示视频案例

视频名称风格成本技术栈
“SIGNAL FROM TOMORROW”科幻预告片-Veo 生成 + Remotion 合成
“THE LAST BANANA”Pixar 风格动画$1.336 个 Kling v3 片段 + Google Chirp3-HD 配音
“VOID — Neural Interface”产品广告$0.69仅 OpenAI Key，4 张 AI 图像 + TTS + Remotion
“Afternoon in Candyland”Ghibli 风格$0.1512 张 FLUX 图像 + Ken Burns + 粒子叠加
“Mori no Seishin”Ghibli 森林$0.1512 张 FLUX 图像 + 视差叠加
“Into the Abyss”深海探索$0.1512 张 FLUX 图像 + 闪光粒子

成本极低：Ghibli 风格动画仅需 $0.15！

8.2 推荐 Prompt 示例

零 Key Prompt（完全免费）：

制作一个 45 秒动画讲解，解释为什么天空是蓝色的。
使用数据可视化、动画文字和图表——不需要图像，
只需要统计卡片和排版。

单 Key Prompt（~$0.15）：

创建一个 30 秒 Ghibli 风格动画视频，展示黄金时刻
云端漂浮的魔法图书馆。书籍在书架间漂流，
温暖的光线穿过彩色玻璃窗...

完整配置 Prompt（~$1-3）：

创建一个电影级 30 秒预告片，讲述人类收到来自 
1000 年后的警告。使用运动视频片段、电影级配乐
和戏剧性标题卡。

九、平台兼容性

OpenMontage 为多个 AI 编程助手提供专属配置：

平台配置文件
Claude CodeCLAUDE.md
CursorCURSOR.md + .cursor/rules/
GitHub CopilotCOPILOT.md + .github/copilot-instructions.md
CodexCODEX.md
Windsurf.windsurfrules

所有配置文件指向共享的 AGENT_GUIDE.md 和 PROJECT_CONTEXT.md，实现跨平台统一体验。

十、快速安装指南

前置要求

依赖版本要求
Python3.10+
Node.js18+
FFmpeg最新版
AI 编程助手Claude Code / Cursor / Copilot / Windsurf

安装步骤

# 克隆仓库
git clone https://github.com/calesthio/OpenMontage.git
cd OpenMontage

# 一键安装
make setup

# 运行演示
make demo

# 渲染特定演示
./render-demo.sh world-in-numbers

十一、项目规模统计

类别数量
生产 Pipeline12
生产工具52+
Agent Skills500+
提供商30+
Artifact Schema11
Render Profile8（YouTube、TikTok、Instagram 等）
Style Playbook3（clean-professional、flat-motion-graphics、minimalist-diagram）
源码规模3.4M+ 字符

十二、项目成熟度评估

维度评级说明
代码规模中等3.4M+ 字符，52+ 工具
功能完整性⭐⭐⭐⭐⭐ 高12 pipelines，500+ skills
文档完善度⭐⭐⭐⭐⭐ 高ARCHITECTURE.md, PROVIDERS.md, AGENT_GUIDE.md
测试覆盖⭐⭐⭐⭐ 中高契约测试套件、回归测试
社区活跃度⭐⭐⭐⭐⭐ 高1,021 forks，持续外部 PR
版本管理⭐⭐ 低无正式 release 版本
稳定性Beta快速迭代阶段

总体评估：项目处于 Beta/早期活跃开发阶段，功能丰富但尚未稳定发布。核心开发者高度活跃，社区参与积极。

十三、发展方向与 Roadmap

从 commits 和 Issues 分析，项目发展方向：

  1. 视频生成 Provider 扩展：持续集成 Kling、Runway、Veo3、Pixverse 等
  2. Composition Runtime 多元化：Remotion + HyperFrames + Canvas procedural
  3. Pipeline 扩展：Character-animation（新增 beta）、B-roll、Social clips
  4. AI Agent Skills 体系完善：Layer 1 → Layer 2 → Layer 3 知识链路优化
  5. 本地 GPU 能力增强：WAN 2.1、Hunyuan、CogVideo 等免费方案

十四、信息来源汇总

来源URL
GitHub 仓库主页https://github.com/calesthio/OpenMontage
README.mdhttps://github.com/calesthio/OpenMontage/blob/main/README.md
架构文档https://github.com/calesthio/OpenMontage/blob/main/docs/ARCHITECTURE.md
提供商指南https://github.com/calesthio/OpenMontage/blob/main/docs/PROVIDERS.md
Prompt Galleryhttps://github.com/calesthio/OpenMontage/blob/main/PROMPT_GALLERY.md
Agent Guidehttps://github.com/calesthio/OpenMontage/blob/main/AGENT_GUIDE.md
Project Contexthttps://github.com/calesthio/OpenMontage/blob/main/PROJECT_CONTEXT.md
YouTube 频道https://www.youtube.com/@OpenMontage
X/Twitterhttps://x.com/calesthioailabs
GitHub Discussionshttps://github.com/calesthio/OpenMontage/discussions

十五、总结

OpenMontage 的核心创新：

创新说明
Agent-First 架构AI Agent 是智能核心，Python 仅提供工具层
三层知识体系清晰分离"有哪些能力"→"如何使用"→"技术如何工作"
双渲染引擎Remotion（React 数据驱动）+ HyperFrames（GSAP 动态图形）
零成本可用Piper TTS + 免费素材 + 本地 GPU，无需付费 API
生产级治理质量门控、评分选择引擎、预算控制、决策审计
跨平台兼容Claude Code、Cursor、Copilot、Windsurf 统一支持

推荐下一步：

  1. ⭐ Star 项目 关注更新
  2. 🍴 Fork 并克隆 进行本地安装
  3. 🎬 运行 make demo 查看预构建演示
  4. 📝 从 Prompt Gallery 选择 进行首次生产
  5. 💬 加入 Discussions 分享作品和想法

一句话总结：OpenMontage 是将 AI 编程助手变为视频工作室的开源解决方案，零成本起步，生产级治理，跨平台兼容。

# 开源
Logo
DAMO开发者矩阵

DAMO开发者矩阵，由阿里巴巴达摩院和中国互联网协会联合发起，致力于探讨最前沿的技术趋势与应用成果，搭建高质量的交流与分享平台，推动技术创新与产业应用链接，围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐

微信AI客服全自动回复实测：多模态读图+语音转写+精准报价，7天免费体验，白黑名单群聊智能过滤，拟人化话术秒回客户微客AI助手，电商门店私域流量获客神器真实测评

很多做生意的朋友都有过这样的无奈时刻：正忙着打包发货，手机叮叮咚咚响个不停，全是问“多少钱”“有没有货”的；等好不容易腾出手回消息，客户早就因为等不及去了别家。晚上想早点休息，可偏偏深夜还有客户来咨询，第二天醒来才发现错失了不少单子。请个专职客服吧，工资成本高不说，还很难保证每个人都能像老板自己那样熟悉产品、语气自然。其实，现在的技术已经能帮我们把这部分重复又耗时的接待工作自动化了。不是那种只会发

avatar DAMO开发者矩阵
cover

Isaac 0.5：感知的缩放控制（上）

avatar DAMO开发者矩阵
cover

RoboTTT

avatar DAMO开发者矩阵