|
每经记者 杨昕怡 每经实习编辑 余婷婷 训练大模型的成本之高一直是行业痛点，各路玩家都在思考如何用技术创新把成本“打”下来。 3月10日，字节跳动豆包大模型团队发布了针对MoE（混合专家模型）架构的通信优化系统COMET，该方案通过细粒度计算-通信重叠技术，助力大模型训练优化。据豆包大模型团队介绍，COMET已实际应用于万卡级生产集群，累计节省了数百万GPU（图形处理器）小时资源。此外，COMET还可与豆包大模型团队此前发布的新一代稀疏模型架构UltraMem结合，实现协同优化。 “在万卡集群上做测试的这个经验，国内很少能有。”一位头部大模型算法工程师在接受《每日经济新闻》记者采访时表示，“目前很可能只有字节有这一经验，而且还分享出来了。虽然现在国内大部分公司都没有万卡，但随着行业往后发展，这一技术和先行经验是很重要的。” 可以看到的是，自DeepSeek的开源模型R1在全球范围内“爆红”以来，国内更多大模型玩家以更高的频率进行着技术开源。对此，北京市社会科学院副研究员王鹏向《每日经济新闻》记者表示，大模型公司选择优秀技术开源，对于扩大市场份额、吸引合作伙伴构建生态、提升公司的品牌形象和知名度等方面均有帮助。 MoE训练效率提升1.71倍，字节开源COMET技术 3月1日，DeepSeek在知乎发布了“开源周”后的“彩蛋”，首次公布了模型降本增效的技术细节以及理论上高达545%的利润率。 DeepSeek通过MoE架构的创新让激活参数比大幅下降，使得同等效果的大模型所需的算力明显下降。“671B的模型，在处理每个问题时，被调用激活的专家模型参数仅约37B，算力需求起码降低到原来的约二十分之一。”阿里云无影事业部总裁张献涛曾在接受《每日经济新闻》记者采访时表示。 而豆包团队注意到，MoE架构的稀疏特性导致计算和通信间的依赖动态且复杂，其分布式训练仍面临着跨设备通信开销巨大的成本挑战。 3月10日，豆包大模型团队发布了针对MoE模型的通信优化系统COMET。据介绍，COMET具体通过共享张量依赖解析机制，将共享张量沿Token维度或隐层维度切割，使通信与计算的最小单元对齐；同时通过动态负载分配算法，根据输入规模和硬件环境实时调整线程块分配，消除跨设备通信带来的等待延迟。 一位豆包大模型的技术人员告诉《每日经济新闻》记者，COMET和DeepSeek的DualPipe（双向并行流水线技术）都用于降低MoE的通信开销，但方法不同。记者了解到，DualPipe通过创新的双向流水线并行技术，大幅提高模型的训练效率。 豆包大模型团队称，COMET这一创新在大规模MoE模型上可达到单层1.96倍加速，端到端平均1.71倍效率提升。目前，COMET已实际应用于万卡级生产集群，助力MoE模型高效训练，并已累计节省了数百万GPU小时资源。 “用100张卡测试的波动可能很少，因为（显卡）出问题的概率较小，但1万张卡的波动就会大很多。”一位头部大模型算法工程师向《每日经济新闻》记者表示，此次字节将这一成果开源，为整个行业提供了不可多得的万卡集群实验经验，“国内有1万张卡的企业也就几家。”此外，豆包大模型还表示，COMET还可与豆包大模型团队此前发布的新一代稀疏模型架构UltraMem结合，实现协同优化。 《每日经济新闻》记者2月11日从豆包大模型团队了解到，团队已经提出了全新的稀疏模型架构UltraMem，该架构有效解决了MoE推理时高额的访存问题，推理速度较MoE架构提升2-6倍，推理成本最高可降低83%。 
图片来源：视觉中国 VCG211550173673 |
