蚂蚁集团于2025年3月24日披露其AI技术研发进展,宣布基于国产芯片成功开发混合专家模型(MoE)训练技术,使3000亿参数大模型的训练成本降低约20%。该技术采用阿里巴巴、华为等国内厂商的AI/GPGPU芯片,在五种不同硬件配置下完成9万亿token预训练,最终实现与英伟达H800芯片同规模模型的性能相当。
据技术论文显示,蚂蚁团队通过动态参数分配、混合精度调度、自适应容错恢复等创新策略,将高性能硬件训练成本从635万元降至508万元。其提出的"不使用高级GPU"扩展模型目标,通过异构计算框架和分布式训练优化,在低性能设备上实现高效训练。实验表明,Ling-Lite模型在英语理解基准测试中超越Meta Llama 3.1-8B,Ling-Plus在中文测试中优于DeepSeek同类产品。
蚂蚁集团CTO何征宇表示,该技术成果已通过开源项目DLRover发布,并计划应用于医疗、金融等领域。尽管仍在使用英伟达芯片进行部分开发,但最新模型主要依赖AMD和国产芯片替代方案。这一突破与英伟达CEO黄仁勋"需更强GPU创造收入"的理念形成对比,后者坚持通过高性能芯片扩大计算需求。