Black Forest Labs 全模态底座 FLUX 3 家族全景剖析:从 5.6B Klein 到物理具身 Action
导读:当整个 AIGC 领域还在为 FLUX.1 的画质惊叹时,Black Forest Labs(BFL)再次投下了行业重磅炸弹——正式推出 FLUX 3 全模态统一底座家族。从开源 5.6B 参数即可逆袭前代的 FLUX 3 Image Klein,到原生自带音画同频的 FLUX 3 Video,再到跨界具身智能的 FLUX 3 Action。本文将带大家全方位拆解 FLUX 3 的版本矩阵、核心技术革命以及它将如何重构生图与物理控制的工作流。
一、为什么说 FLUX 3 是一次颠覆式的范式跃迁?
在过去的两年中,开源文生图领域主要围绕“单一模态生成像素”打转。而 FLUX 3 标志着团队彻底向“跨模态统一物理世界模拟器”进军,其变化可以概括为三个层面:
- 轻量化降维打击:旗舰级开源模型不再盲目堆叠到十几 B 参数,5.6B 的 Klein 凭借更优秀的骨干网络,在生成质量与指令遵循度上反而反超了更大规模的前代。
- 拒绝“外挂补丁”:过去做人像一致性、商品换装必须依赖 IP-Adapter,做局部排版依赖复杂 ControlNet。FLUX 3 在底层直接原生支持 10 张多图参考输入以及 Prompt 坐标级(Bounding Box)空间布局。
- 跨出屏幕,走向现实:不仅有音画同步的视频模型,还开源了面向机器人底层的动作世界模型 FLUX 3 Action。
二、FLUX 3 家族全版本特性与开源状态盘点
为了让大家理清版本脉络,我们整理了目前 FLUX 3 的全家族矩阵:
| 模型代号 | 参数规模 | 开源状态 | 核心输出形式 | 典型应用场景 |
|---|---|---|---|---|
| FLUX 3 Image Klein | 5.6B(Transformer) | ✅ 权重已开源 | 高达 4K 级别超高清图像 | 本地 ComfyUI 部署、电商换装、多图一致性设计 |
| FLUX 3 Image(Pro) | 超大规模旗舰 | ❌ 云端闭源 API | 极致商业级图像渲染 | 商业云端平台、高并发 API 生产 |
| FLUX 3 Video | 视听多模态底座 | ❌ 商业/API 托管 | 20 秒 1080P 视频 + 原生同步音频 | 电影级镜头运镜、视听对齐多语言唇形短片 |
| FLUX 3 Action | 7B | ✅ 权重已开源 | 控制轨迹序列 + 物理推演视频帧 | 具身智能机器人控制、工业机械臂轨迹预测 |
三、本地党与 ComfyUI 玩家的最大利好:FLUX 3 Image Klein 深度拆解
对于广大设计师与算法工程师而言,FLUX 3 Image Klein 才是这场发布的真正主角。
1. 原生 10 图参考机制(Native Multi-Reference)
传统痛点:过去在 ComfyUI 里做“固定人脸换背景”“固定商品打不同光影”,需要堆叠 ReferenceLatent、IP-Adapter-Plus、ControlNet 等几十个节点,排错极难,显存爆炸。
Klein 的解法:模型在训练阶段就内置了多图 Cross-Attention 注意力通道,原生接受最多 10 张参考图灌入,在单节点内完成特征对齐,一致性几乎达到工业落地标准。
2. 坐标级 Bounding Box 空间控制
终于不需要用涂抹遮罩(Inpaint Mask)反复抽卡了!Klein 引入了 [0-1000] 的归一化网格坐标语法。用户可以直接在自然语言中指定坐标(例如:[ymin, xmin, ymax, xmax]),精确定义特定元素应该出生在画面的哪个角落,且实现“修改局部时,选区外像素级 100% 不动”。
3. Qwen3-VL 作为视觉语言中枢
放弃了原先传统的 T5 体系,直接整合了 Qwen3-VL-4B-Instruct。这让它在处理中文自然语言、密集空间几何逻辑以及文字排印(Typography)排版时的理解力实现了量级飞跃。
四、跨越虚拟与现实的黑科技:FLUX 3 Action
除了生图与视频,这次最震撼学术界的是开源的 FLUX 3 Action(7B):它不仅仅是一个扩散模型,而是一个“具身智能世界动作模型”。
当给它输入一张机械臂前方的摄像头视角照片和一句指令(“拿起螺丝刀对准螺栓”),它会在潜空间里同时做两件事:
- 脑海物理预演:预测出接下来几秒机械臂运动、零件受力移动的未来视频帧;
- 动作块输出:直接解算出机械臂的 6 自由度空间坐标轨迹(Action Chunks)。
这意味着开源扩散模型正式从“生成屏幕上的虚拟像素”,跨向了“直接驱动现实世界的原子”。
五、后续实测预告
很多团队评测大模型往往止步于“文生图好不好看”,但 FLUX 3 真正的野心绝不仅限于屏幕内的像素。
目前作者已在配备 NVIDIA H20 (140GB+ 超大显存) 的工业级集群中完成了全部环境与依赖部署。下一期,我们将带来全网绝无仅有的“跨界双重硬核极限压测”:
-
【视觉端】FLUX 3 Image Klein 极限重载测试:
-
原生 10 图参考机制实测:真的能彻底淘汰 IP-Adapter 吗?
-
坐标级 Bounding Box 精准空间控制:局部微修如何做到周边像素 0 干扰?
-
在企业级算力下的推理吞吐基准(FP8 / BF16 延迟对比)。
-
-
【具身物理端】FLUX 3 Action + MuJoCo 物理仿真闭环实测(重磅!):
-
搭建无头物理仿真沙盘,输入工业零件装配指令;
-
实机验证:从 RGB 单帧视觉感知,到直接输出 6-DoF 机械臂动作序列的控制精度;
-
全网首发对比:模型自生成的“脑海未来推演视频” vs 物理引擎“真实刚体力学模拟”,看扩散世界模型如何跨越“虚拟到物理”的真实鸿沟!
-
欢迎大家关注专栏,第一时间获取工作流实操体验!
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐



所有评论(0)