序言
1.研究背景与动机
人工智能的发展正进入一个以多模态融合为核心标志的新纪元。继大型语言模型(Large Language Models,LLMs)在自然语言处理领域取得革命性突破之后AI研究的焦点正迅速转向能够同时理解和生成文本、图像、音频、视频乃至更复杂模态信息的统一模型。2025年我们见证了多模态大语言模型的爆发式增长其技术迭代速度和能力边界的拓展远超预期，深刻地重塑着人机交互的范式、内容创作的流程以及科学研究的边界。
从早期的双流架构探索如ViLBERT和LXMERT到CLIP凭借对比学习实现视觉与语言的深度对齐多模态技术的发展历经了漫长的积累。然而直到2023年随着LLaVA等工作的出现将视觉编码器与大型语言模型相结合的“指令微调”(Instruction Tuning)范式才真正点燃了社区的热情使得模型能够以前所未有的方式遵循人类指令来执行多模态任务。这一阶段开源社区的繁荣特别是LLaMA系列模型的开放极大地加速了技术的普及与创新。
进入2024年研究的重点转向了“统一建模”。以Meta的Chameleon和谷歌的VITRON为代表的模型开始尝试在单一架构内统一理解与生成任务打破了两者之间的壁垒。Show-0等工作更是探索了自回归(Autoregressive)与扩散(Diffusion)两种生成范式的混合旨在兼顾生成质量与效率。这些探索为2025年的技术爆发奠定了坚实的基础。
2025年我们目睹了多模态技术从“统一”走向“全能”的飞跃。以Janus为代表的“解耦设计”理念通过为理解和生成任务提供独立的视觉编码路径显著提升了模型的综合性能解决了早期融合架构的内在冲突。紧接着以JanusFlow和NExT-OMNI为代表的模型创新性地引入了整流流(Rectified Flow)和离散流匹配(Discrete Flow Matching)等更先进的生成范式进一步提升了生成质量和效率。在应用层面VITA-1.5在实时视觉-语音交互方面取得了接近GPT-4o的性能而阿里巴巴的Qwen3-Omni则首次在单一原生全模态模型中实现了跨越文本、图像、音频、视频所有主流模态的最先进性能。与此同时Mogao在交错多模态内容生成方面的突破预示着AI在内容创作领域将扮演更为核心的角色。
在这一波澜壮阔的技术浪潮中新的架构、训练方法、数据集和评估基准层出不穷知识的更新速度呈指数级增长。然而信息的碎片化和技术细节的复杂性也为研究人员、开发者和决策者带来了巨大的挑战。系统性地梳理多模态大语言模型的技术脉络评估其能力边界洞察其未来走向变得至关重要且异常紧迫。
在此背景下，作为国内领先的AI大模型开发服务平台，算泥社区秉持“技术专业、生态开放、开发者友好”的理念，联合社区众多资深分析师与技术专家、学者，共同撰写并发布《2025多模态大语言模型技术发展报告》。我们的目标是提供一份全面、权威且具有前瞻性的技术报告，系统性地回顾多模态大语言模型的发展历程，深度剖析截至目前涌现的核心技术创新，详细梳理关键的数据来源与评估基准，全面展示其在各个领域的应用实践并客观分析当前面临的挑战与未来的发展机遇。我们希望通过这份报告为学术界的研究人员提供清晰的技术路线图，为工业界的开发者提供可靠的实践指南，为相关领域的决策者提供科学的战略参考，共同推动多模态人工智能技术健康、快速地发展。
2.多模态大语言模型的定义与范畴
为了系统性地展开本报告的论述首先必须对“多模态大语言模型”(Multimodal Large Language Models,MLLMs)的核心概念及其范畴进行清晰的界定。广义上多模态大语言模型是指一类能够处理、理解、关联和生成两种或两种以上不同模态信息的人工智能大语言模型。这些模型通常以一个强大的大型语言模型(LLM)为核心通过特定的架构设计将LLM的语言能力扩展到非文本模态从而实现跨模态的智能处理。
模态(Modality)在本报告中指代信息的特定表现形式。当前多模态大语言模型研究涵盖的主要模态包括：
文本(Text):作为所有MLLMs的基础提供核心的语义理解、逻辑推理和指令遵循能力。
视觉(Vision):包括静态图像(Image)和动态视频(Video)是当前研究最活跃、应用最广泛的非文本模态。
音频(Audio):涵盖语音(Speech)、音乐(Music)和通用声音事件(Sound Events)是实现自然人机交互的关键。
动作(Action):主要应用于具身智能(Embodied AI)和机器人领域指代模型输出的物理或虚拟环境中的动作序列。
其他模态：还包括三维(3D)表示、热成像、表格、图表、分子结构等更专业的模态这些模态的整合正在成为新的研究前沿。
基于模型对不同模态的处理能力和架构设计我们可以从以下几个维度对多一个核心的演进趋势是从理解到生成的统一。早期的多模态模型主要聚焦于“理解”任务如视觉问答(VQA)或图像描述。然而随着生成模型特别是扩散模型和流模型的成熟新一代的多模态大语言模型已经具备了强大的“生成”能力能够根据文本或多模态输入创造出全新的图像、视频或音频内容。这种理解与生成的统一是衡量现代多模态大语言模型能力的关键标准。
本报告将重点关注那些致力于实现任务统一和端到端设计的多模态大语言模型特别是那些在2024年至2026年间发布、推动技术边界向前发展的模型。我们将深入探讨它们如何通过创新的架构设计和训练方法逐步实现对更多模态的覆盖并最终迈向能够处理任意模态输入和输出的“全模态智能”这一宏伟目标。
3.报告研究方法与数据来源
本报告通过多源信息交叉验证力求客观、准确地反映2025年多模态大语言模型的技术全景。
报告的核心信息来源于对全球顶级学术会议和预印本平台的系统性文献检索。我们的主要信息来源包括：
顶级人工智能会议：重点关注计算机视觉(CVPR,ICCV,ECCV)、机器学习(NeurIPS,ICLR,ICML)和自然语言处理(ACL,EMNLP)领域的顶级会议论文特别是2024年和2025年的最新发表成果。这些经过同行评议的论文构成了本报告最核心的技术依据。
本文来自知之小站
报告已上传百度网盘群，限时15元即可入群及获得1年期更新
（如无法加入或其他事宜可联系zzxz_88@163.com）
