6月30日,百度正式开源文心大模型4.5系列10款模型,涵盖多种参数类型,实现预训练权重和推理代码全开源,在多个关键维度领先行业。其性能优越,在多模态理解等任务表现出色,还为开发者提供了诸多便利,实现框架层与模型层“双层开源”。
文心大模型4.5系列开源详情
6月30日,百度正式开源文心大模型4.5系列模型,涵盖47B、3B激活参数的混合专家(MoE)模型,与0.3B参数的稠密型模型等共10款模型,并实现预训练权重和推理代码的完全开源。目前,文心大模型4.5开源系列已可在飞桨星河社区、HuggingFace等平台下载部署使用,同时开源模型API服务也可在百度智能云千帆大模型平台使用。早在今年2月,百度就已预告推出计划,并明确6月30日起正式开源。
系列模型的领先优势
此次百度一次性推出10款文心大模型4.5系列开源模型,在独立自研模型数量占比、模型类型数量、参数丰富度、开源宽松度与可靠性等关键维度上,均处于行业领先位置。该系列针对MoE架构提出创新性多模态异构模型结构,适用于从大语言模型向多模态模型的持续预训练范式,在保持或提升文本任务性能基础上,显著增强多模态理解能力,其优越性能得益于多模态混合专家模型预训练、高效训练推理框架和针对模态的后训练等关键技术点。此外,该系列均使用飞桨深度学习框架进行高效训练、推理和部署,在大语言模型预训练中,模型FLOPs利用率(MFU)达到47%。
模型在多领域的突出表现
实验结果显示,文心大模型4.5系列模型在多个文本和多模态基准测试中达到SOTA水平,尤其在指令遵循、世界知识记忆、视觉理解和多模态推理任务上效果突出。在文本模型方面,其基础能力强、事实准确性高、指令遵循能力强、推理和编程能力出色,在多个主流基准评测中超越DeepSeek-V3、Qwen3等模型。在多模态模型方面,拥有卓越视觉感知能力,精通丰富视觉常识,实现思考与非思考统一,在视觉常识、多模态推理、视觉感知等主流多模态大模型评测中优于闭源的OpenAI o1。在轻量模型上,文心4.5-21B-A3B-base文本模型效果与同量级的Qwen3相当,文心4.5-VL-28B-A3B多模态模型是目前同量级最好的多模态开源模型,甚至与更大参数模型Qwen2.5-VL-32B不相上下。
开源协议与开发者支持
文心大模型4.5开源系列权重按照Apache 2.0协议开源,支持开展学术研究和产业应用。基于飞桨提供开源的产业级开发套件,广泛兼容多种芯片,降低模型的后训练和部署门槛。百度在算力、框架、模型到应用的四层布局构建了明显的AI全栈技术优势,其中飞桨是中国首个自主研发、功能丰富、开源开放的产业级深度学习平台。此次还同步升级发布文心大模型开发套件ERNIEKit和大模型高效部署套件FastDeploy,为文心大模型4.5系列及开发者提供开箱即用的工具和全流程支持。值得关注的是,文心大模型4.5系列开源后,百度实现了框架层与模型层的“双层开源”,为行业树立新标杆。
以上文章由 AI 总结生成