蚂蚁集团开源 Ring-2.5-1T:首个混合线性架构万亿参数思考模型

查看付费资源请通过右侧购买区域进行购买!

2 月 13 日消息,今日,蚂蚁集团百灵大模型发布并开源首个混合线性架构的万亿参数思考模型 —— Ring-2.5-1T。

据介绍,作为迈向通用智能体时代的关键步骤,团队将混合线性注意力架构在预训练和强化学习上均进行了大规模扩展,一方面利用高效的1:7 MLA + Lightning Linear Attention 架构来提升模型的思考效率和探索空间,另一方面通过扩展强化学习和智能体环境规模来提升模型的思考深度和长程执行能力。

相比此前发布的 Ring-1T,Ring-2.5-1T 在生成效率、思考深度、长程执行上均有大幅提升:

  • 高效生成:得益于高比例的线性注意力机制,在超过 32K 生成长度下,访存规模降低 10 倍以上,生成吞吐提升 3 倍以上,尤其适合深度思考和长程执行的任务。

  • 深度思考:在 RLVR 基础上引入 dense reward 来反馈思考过程的严谨性,使得 Ring-2.5-1T 同时实现 IMO 2025 和 CMO 2025 的金牌水平(自测)。

  • 长程执行:通过大规模 fully-async agentic RL训练,显著提升针对复杂任务的长程自主执行能力,使得 Ring-2.5-1T 可以轻松适配 Claude Code 等智能体编程框架和 OpenClaw 个人 AI 助理。

为评估 Ring-2.5-1T 的深度思考和长程执行能力,团队选取了具有代表性的开源思考模型(DeepSeek-v3.2-Thinking、Kimi-K2.5-Thinking)和闭源 API(GPT-5.2-thinking-high、Gemini-3.0-Pro-preview-thinking-high、Claude-Opus-4.5-Extended-Thinking)作为参考。

Ring-2.5-1T 在数学、代码、逻辑等高难推理任务(IMOAnswerBench、AIME 26、HMMT 25、LiveCodeBench、ARC-AGI-V2)和智能体搜索、软件工程、工具调用等长程任务执行(Gaia2-search、Tau2-bench、SWE-Bench Verified)上均达到了开源领先水平。

团队还额外测试了深度思考模式(heavy thinking mode),通过在推理过程中扩展并行思考与总结,实现测试时扩展,从而有效提升推理的深度与广度。在 IMO 2025(满分 42 分)中,Ring-2.5-1T 获得 35 分,达到金牌水平;在 CMO 2025(满分 126 分)中取得 105 分,显著高于金牌线(78 分)及国家集训队入选线(87 分)。

此外,Ling 2.5 架构在 Ling 2.0 架构基础上引入了混合线性注意力架构。通过增量训练方式,将 Ling 2.0 架构的 GQA 升级为 1:7 的 MLA + Lightning Linear 结构。具体而言,团队基于此前发布的 Ring-flash-linear-2.0 技术路线,将部分 GQA 层改造为 Lightning Linear Attention,以显著提升长程推理场景下的吞吐能力。为进一步压缩 KV Cache,将其余 GQA 层近似转换为 MLA ,并对其中的 QK Norm 、Partial RoPE 等特性进行了针对性适配,以增强Ling 2.5 架构在混合注意力架构下的表达能力。

改造后,Ring-2.5-1T 的激活参数量从 51B 提升至 63B。但在混合线性注意力架构的支持下,其推理效率相比 Ling 2.0 仍实现了大幅提升。即便与激活参数仅为 32B 的 KIMI K2 架构相比,1T 规模下的 Ling 2.5 架构在长程推理场景下的吞吐依然具有显著优势;且生成长度越长,吞吐优势越明显。

不过,蚂蚁集团也提到,这一版本模型在 token efficiency 与指令遵循方面仍存在不足,在面向更真实、更复杂任务的长程执行与实际交付能力上,也仍有较大的优化空间。团队将在后续版本中持续改进上述能力,并非常期待来自社区的使用反馈与建议。目前,Ring-2.5-1T 的训练仍在持续推进中。完整技术报告将在下一版本发布后正式公开。

附地址如下:

Hugging Face:https://huggingface.co/inclusionAI/Ring-2.5-1T

ModelScope:https://modelscope.cn/models/inclusionAI/Ring-2.5-1T

Ling Studio(https://ling.tbox.cn/chat)与 ZenMux(https://zenmux.ai/)的 Ring-2.5-1T Chat 体验页和 API 服务将在近期上线。


转载请说明出处内容投诉
仿站网 » 蚂蚁集团开源 Ring-2.5-1T:首个混合线性架构万亿参数思考模型

发表评论

您需要后才能发表评论

仿站网专注帝国cms仿站,Zblog仿站,Wordpress仿站服务,专业+效率+售后保障

关于我们 联系客服
 
QQ在线咨询
客服热线
139-3511-2134