多模态标签_DAMO开发者矩阵

多模态

告别目标检测器！用ALBEF和ViT-B/16搭建多模态模型，实测性能提升明显

本文详细介绍了如何利用ALBEF和ViT-B/16构建无需目标检测器的多模态模型，显著提升性能。通过对比传统方法与ViT架构的优劣，解析ALBEF的三模块设计及动量蒸馏技术，提供从环境配置到模型训练的完整实践指南，实测显示在Flickr30K数据集上性能提升明显。

weixin_33704234
2026-04-01 04:27:18

 407

 4

#多模态
YOLOv11多模态目标检测实战：从数据集配置到模型融合的完整指南

本文提供了基于YOLOv11进行多模态目标检测的完整实战指南。详细阐述了从构建严格对齐的多模态数据集、编写配置文件，到解析YOLOv11多模态模型架构（包括早期与中期融合策略）的核心步骤。文章还分享了从零开始的训练脚本、高级模型融合技巧（如多尺度融合）以及部署注意事项，旨在帮助开发者高效构建鲁棒性更强的全天候检测系统。

wdx01234567
2026-02-23 01:03:21

 195

 3

#多模态 #目标检测 #计算机视觉
Qwen2.5-VL-32B多模态测评：用昇腾MindIE跑通图片问答&视频分析的完整Demo

本文详细介绍了Qwen2.5-VL-32B多模态模型在昇腾MindIE框架下的实战应用，包括图片问答和视频分析的完整Demo流程。通过环境配置、模型部署、性能调优等步骤，展示了该模型在工业质检和医疗影像等场景的强大能力，帮助开发者快速掌握多模态AI技术的实际应用。

递归诗人
2026-02-25 15:52:19

 115

#多模态 #昇腾 #MindIE
学习周报十七-多模态学习

本周系统学习了强化学习基础理论与多模态模型核心技术。深入掌握了强化学习的核心概念，包括马尔可夫决策过程、价值函数、策略优化等基础理论；精读多模态大模型论文，重点研究了视觉标记器与视觉编码器的技术差异与协同机制，明确了视觉标记器的图像分块与向量化功能，以及视觉编码器的高级语义特征提取作用。通过理论梳理与论文精读，构建了从强化学习基础到多模态视觉处理的完整知识框架。

你不配知道我
2025-10-12 11:49:26

 858

 24

#学习 #人工智能 #多模态
如何在Ubuntu 22.04上配置YOLOv8多模态目标检测环境（含CUDA 11.6和cuDNN 8.6安装指南）

本文详细介绍了在Ubuntu 22.04系统上为YOLOv8多模态目标检测配置完整GPU环境的全流程。内容涵盖NVIDIA驱动安装、CUDA 11.6与cuDNN 8.6的精细部署、Python虚拟环境搭建，以及如何利用ONNX Runtime进行可见光与红外图像融合推理的实战操作，旨在帮助开发者和研究者快速构建高效稳定的多模态感知系统。

leaf8
2026-03-08 06:12:14

 419

 9

#多模态
YOLO11-MM实战：从零构建RGB-IR多模态目标检测系统

本文详细介绍了如何基于YOLO11构建RGB-IR多模态目标检测系统（YOLO11-MM）。通过分析早期、中期和晚期三种融合策略，重点阐述了Mid Fusion架构的优势与实现方法，并提供了从数据准备、网络结构设计、代码实现到训练调优的完整实战指南，旨在提升模型在夜间、大雾等极端环境下的检测鲁棒性。

kkk56
2026-03-09 08:47:21

 491

 6

#多模态 #目标检测
AAAI 2025多模态重大突破：SENA框架重塑多模态学习，零标注实现自进化

目前AAAI顶会成果已从技术探索迈向产业落地，在未来，AAAI多模态将呈现三大趋势：一是技术深度融合；二是轻量化与泛化能力突破；三是伦理与可解释性发展。随着多模态模型渗透医疗、自动驾驶等关键领域，如太原理工大学的视觉分割技术推动影像分析精度提升，其决策透明性需求日益凸显。

计算机sci论文精选
2025-07-28 17:00:49

 2606

 33

#多模态 #人工智能 #语言模型 +1
YOLO技术应用30-YOLO终极展望：AI视觉的下一个10年

本文回顾了YOLO系列从2015年YOLOv1到2025年YOLOv12的十年演进，展望未来10年AI视觉的五大趋势：端到端、多模态、视觉Agent、通用检测与3D视觉。技术将向“端云协同+持续学习+神经符号”融合发展，行业应用覆盖自动驾驶、机器人、医疗、工业与AR/VR。AI范式从监督学习转向自监督、多模态与具身智能，工程师需转型为具备系统设计与业务思维的复合型人才。最终，YOLO将从检测器演变

 weitingfu
1天前

 70

#多模态
【论文阅读】A Survey on Vision–Language–Action Models for Embodied AI

VLA综述论文详解

 xianshuiyihui
2026-09-02 16:39:58

 183

 6

#论文阅读 #人工智能 #多模态
千觉机器人CEO马道林「世界经济论坛」署名文章：为何触觉智能会成为物理AI下一阶段的基础设施层

近日，千觉机器人创始人兼CEO马道林在世界经济论坛（World Economic Forum）发表署名文章《Why tactile intelligence may become the next infrastructure layer for physical AI》，围绕 Physical AI 的下一阶段的技术重心、触觉智能的价值，以及机器人如何真正走向现实世界发表观点。

CSDN资讯
2026-09-01 19:21:42

 260

 1

#人工智能 #多模态
专访中科第五纪黄岩：在具身智能的狂热中，做一位技术实干家

2026 年的春天，具身智能赛道迎来了前所未有的狂热浪潮，短短两个月内更是已经实现了全行业近 150 亿元的惊人融资。

久久学姐
2026-08-14 00:25:02

 179

 6

#多模态
AI项目从入门到上线30-AI项目未来趋势-从多模态到具身智能的2026展望

【摘要】本文是「AI项目实现从入门到上线」系列最终篇，系统展望2026年AI开发的6大核心趋势：1）多模态大模型实现视觉-语言融合；2）AIAgent从辅助开发转向自主编码；3）具身智能让AI进入物理世界；4）AI安全成为底线需求；5）端侧AI带来隐私与低延迟优势；6）AI加速科学发现。文章提供五级知识图谱（L1-RAG到L5-AIDevOps）和开发者进化路线，强调从"编码者&quot

weitingfu
2026-08-07 11:26:05

 486

 7

#多模态 #AI开发者
从李飞飞World Labs到中国无问智科，具身智能数据基建赛道浮现“同一答案”

无问智科独创的“虚实融合闭环体系”，依靠真实环境无感野采积累原生物理数据，再通过生成式世界模型拓展极端、罕见场景，依托世界模拟器完成百万次零成本试错，推动机器人从传统模仿学习向自主强化学习演进；仿真训练后的模型最终回流真机验证，反向补充缺失样本，形成完整 Real-to-Sim-to-Real 迭代循环。

CSDN资讯
2026-08-06 11:10:03

 384

 4

#人工智能 #多模态
15亿参数挑战机器人控制，MiniCPM-RobotManip正式开源；覆盖文本/图/视频/动作序列，英伟达发布全模态模型Cosmos3-Edge

该数据集包含 545,431 条训练样本，涵盖 285,516 条 COT 思维推理样本与 259,915 条 TIR 工具推理样本，覆盖代数、几何、数论、组合数学等竞赛与高校科研级数学场景，数据采用人工与自动化混合标注方式，包含唯一编号、题目文本、多轮对话、标准答案、来源、协议等标准化字段。该数据集共包含 10,193,029 条教学记录，总规模超过 100 亿个 token，涵盖跨学科、技术、

HyperAI超神经
2026-07-31 14:41:12

 242

 7

#机器人 #人工智能 #深度学习 +1
从学习效率翻倍到开源机器人栈：AI智能体正在长出身体，但人形交互仍是最后一道关卡

7月22日，AI智能体赛道连续迎来两则重磅信号。一边是某国际芯片巨头与开源模型平台宣布联手，推出面向人形机器人的开源基础模型栈，并同步开放超过10万亿条面向智能体训练的数据token；另一边，某头部短视频与AI研究团队发布的EdgeBench基准测试显示，主流AI智能体在真实环境交互中的学习效率，从2025年9月到2026年4月实现了每季度翻倍的指数级增长。两件事指向同一个判断：AI智能体正在从"

东姬AI
2026-07-22 10:09:50

 243

 5

#AI智能体 #多模态
千觉机器人发布首个VTLA具身触觉模型 X-TouchMind V1 与首批视触觉多模态数据集 TacVerse 1k

构建从触觉感知、数据采集到具身智能的全栈触觉智能生态。

CSDN资讯
2026-07-17 16:00:55

 400

 6

#机器人 #多模态
多模态大模型从入门到实战：CLIP、BLIP-2、LLaVA 图文理解技术演进（2026）

2023 年 GPT-4V 的发布标志着人工智能正式进入多模态时代。与纯文本模型不同，多模态大模型（Multimodal Large Language Model, MLLM）能够同时理解图像、文本（甚至视频、音频）内容，实现真正的"看图说话"。应用场景代表模型核心能力图文搜索文本→图片跨模态检索图像生成文本→图像生成（依赖 CLIP 编码）视觉问答图片内容理解与推理文档分析图表、扫描件、PDF

element.wen
2026-07-17 09:44:22

 268

 4

#AI #多模态 #深度学习 +1
TacReasoner：给触觉大模型装上「动态感知」与「思维链」——一篇让 7B 打赢 14B 的触觉-语言框架

TacReasoner 面向具身触觉推理，提出「冻结外观流 + 可训帧差时序流」的动态感知编码器，并构建首个触觉思维链数据集 TouchCoT-10K，把推理过程显式写进训练目标，在多数子任务上让 7B 反超 14B 的 VTV-LLM。本文逐条精准推导其六个核心公式与两个损失函数，指出帧差与「剪切累积」动机的错位、式(7)期望记号之误、CLS 单 token 瓶颈及 45 样本评测的置信度问题，

xianghongtao0116
2026-07-16 08:00:00

 664

 21

#多模态
Xiaomi-Robotics-U0: Unified Embodied Synthesiswith World Foundation Model

近期的基础图像与视频生成模型展现出强大的泛化性与可控性，但其直接向具身场景的应用受到多视角一致性、几何连贯性及机器人本体约束等要求的限制。的多模态自回归模型，用于统一的具身合成。它将具身生成视为基础图像与视频生成的延伸，并联合优化文生图、图像编辑、具身场景生成、具身迁移及具身视频生成。是首个支持跨多种机器人本体的高质量多视角场景生成的模型，并引入了结构化的可控具身迁移以实现细粒度编辑，同时

 何处闻韶
2026-07-15 20:17:06

 263

 5

#多模态
具身智能：机器人与AI融合的下一个前沿

具身智能强调"智能源于身体与环境的交互"，而非单纯的符号推理。一个具身智能系统需要具备三个核心能力：| 能力 | 描述 | 典型实现 | |------|------|----------| | 感知 | 理解物理环境（视觉、触觉、力觉） | 多模态传感器融合 | | 推理 | 将语言指令转化为行动规划 | VLA（Vision-Language-Action）模型 | | 执行 | 精确控制物理

 开发小能手-roy
2026-07-07 08:23:37

 77

 1

#AI #机器人 #多模态
YOLOV8多模态目标检测（RGB-D）（first change）

同时使用可见光图像和红外图像进行训练，需要修改 YOLO 模型的网络结构，进行图像融合。目前，多模态数据融合主要有三种方式：前端融合（early-fusion）或数据端融合（data-level fusion）、后端融合（late-fusion）或决策端融合(decision-level fusion）和中间融合（intermediate-fusion）。前端融合，是指将多个独立的数据集融合成一个

 2401_82862194
2025-09-28 19:40:49

 2823

 47

#人工智能 #多模态
深度学习神经网络学习笔记-多模态方向-05-An Efficient Normalized Restricted Boltzmann Machine for Solving Multiclass Cl

利用计算机视觉和图像处理基于未标记图像的多类分类是目前的一个重要问题。在这项研究中，我们重点研究了为类驱动的无标记数据构建高级特征检测器的现象。我们提出了一种归一化受限玻尔兹曼机(NRBM)来形成一个鲁棒的网络模型。所提出的NRBM的开发是为了实现降维的目标，并在学习更合适的数据特征方面提供更好的特征提取，并进行增强。为了提高学习收敛速度并降低NRBM的复杂度，我们在训练更新参数时添加了Polya

丰。。
2023-05-19 15:14:28

 827

#深度学习 #神经网络 #学习 +1
太全了！多模态深度学习的综述！

我们对世界的体验是多模态的 —— 我们看到物体，听到声音，感觉到质地，闻到气味，尝到味道。模态是指某件事发生或经历的方式，当一个研究问题包含多个模态时，它就具有多模态的特征。为了让人工智能在理解我们周围的世界方面取得进展，它需要能够同时解释这些多模态的信号。例如，图像通常与标签和文本解释相关联，文本包含图像，以更清楚地表达文章的中心思想。不同的模态具有非常不同的统计特性。这些数据被称为多模态大数据

 人工智能chatGPT培训咨询讲师叶梓
2024-08-12 21:37:17

 1001

 7

#深度学习 #人工智能 #多模态 +3
论文笔记：多模态学习综述 Multimodal Machine Learning: A Survey and Taxonomy

本文系统梳理了多模态机器学习的开篇综述论文作为阅读笔记上传到博客希望对你有所帮助

 Mellowwxz
2025-11-09 21:19:54

 1237

 10

#论文阅读 #学习 #机器学习 +2
中稿⁺¹ ！多模态学习+注意力机制再登顶会！新成果GPU内存消耗减半

深度学习找不到创新点？。作为多模态学习和注意力机制这俩大热点的结合，交叉注意力融合凭借动态对齐与高效建模的优势，在众多多模态任务（比如图像-文本匹配）中脱颖而出，发展前景相当可观，成功成为。这方向尤其在高效计算、弱监督任务中容易产出创新点，而且根据近年顶会顶刊的收录情况，轻量化、自适应融合、弱监督学习等方向非常值得关注。比如CrossMamba方法，在目标声音提取任务中，参数量减少的同时，既保持了

 深度之眼
2025-06-03 17:00:54

 958

 7

#学习 #机器学习 #人工智能 +2
CV计算机视觉每日开源代码Paper with code速览-2023.10.23

8.【自动驾驶：多任务】LeTFuser: Light-weight End-to-end Transformer-Based Sensor Fusion for Autonomous Driving with Multi-Task Learning。7.【自动驾驶：BEV】EarlyBird: Early-Fusion for Multi-View Tracking in the Bird's

CV365
2023-10-25 15:05:33

 1017

 2

#计算机视觉 #人工智能 #目标检测 +2
《IEEE Transactions on Robotics》发表！北京大学研究团队推出具有多种运动模态的软体两栖机器人

更令人印象深刻的是，无论是在玻璃、木板、地毯等不同摩擦系数的表面，还是在沙地、泥泞和砾石等更具挑战性的环境，该机器人均能在统一的控制时序下保持稳定的运动性能，无需对不同的地面条件进行特别的调整或设置。更为关键的是，同时，这片塑料片可以在机器人身体弯曲时能够储存能量，一旦释放，这些能量将有助于机器人在随后身体展平时实现更远的跳跃距离。通过身体交替的弯曲和展平动作，该机器人在陆地上实现了最高移动速度1

xwz小王子
2024-03-11 08:13:50

 1622

 19

#机器人 #多模态
阅读CVPR论文——mPLUG-Owl2：革命性的多模态大语言模型与模态协作

1）实验部分非常丰富，并且论文中的图制作的非常精美，论文开篇的图制作的别出心裁，将几种不同的方法表现出的性能差异不是以普通的表格形式展现，而是制作成了一副环状折线图，论文中其他的图、表格也包含了很丰富的信息；2）模态之间协作能够使模型更好地理解和处理输入信息。

m0_63694583
2024-09-23 18:03:01

 865

 8

#人工智能 #深度学习 #计算机视觉 +2
阿里开源端到端多模态大模型：Qwen2.5-Omni-7B 值得围观

Qwen2.5-Omni在多模态任务中表现出色，不仅在需要集成多种模态的复杂任务中表现出色，而且在单模态任务中也展现了强大的性能。其创新的架构和位置嵌入方法使其在实时交互和语音生成方面具有显著优势。未来，Qwen团队计划进一步提升模型的性能和输出能力，以推动人工通用智能（AGI）的发展。

Panesle
2025-03-29 15:44:10

 558

 5

#开源 #多模态
ICLR 2026！爆火！多模态时序预测新突破！性能直接拉满

时序预测的重要性大家懂的都懂，不过传统模型只擅长处理一维的数字序列，对于交通、气象、金融等领域来说，还是多模态时序预测更受欢迎。这种热度也体现在最近的顶会上，比如华东师大的首个通用多模态时序预测模型Aurora，在零样本少样本场景下吊打传统模型，性能直接拉满，一经提出就爆火，后续收录于ICLR 2026。这篇算是当前多模态时序预测最具代表性的前沿工作之一了，属于模型架构与能力增强这个主流创新赛道。

深度之眼
2026-04-13 17:16:16

 626

 6

#深度学习 #多模态