近日,摩尔线程与北京智源人工智能研究院(简称:智源研究院)已顺利完成基于Triton语言的高性能算子库FlagGems的适配工作。得益于摩尔线程自研统一系统计算架构MUSA,双方在短短一周多的时间里,即成功完成了近60个算子的功能验证,精度符合交付标准,并实现对Bert-large模型的全面支持。FlagGems算子库在摩尔线程MUSA架构上展现出了接近手写算子的计算性能,且性能还在持续调优,极大加速了开源大模型在摩尔线程全功能GPU上的部署速度。
智源研究院在今年的智源大会上推出了FlagGems算子库,这是一个使用Triton编程语言实现的高性能通用算子库,旨在为大语言模型提供一系列可应用于PyTorch框架的算子,加速模型的推理与训练,降低新算法的开发门槛,促进芯片架构的创新。FlagGems算子库以Triton编程语言的易用性和编译器的标准接口为基础,为多元芯片提供了一套易适配、高性能的算子解决方案,推动基于Triton的统一、开源的软硬件生态建设。
在适配过程中,摩尔线程与智源研究院团队紧密合作,共同克服了一系列技术挑战,确保FlagGems算子库在摩尔线程全功能GPU上的高效稳定运行。摩尔线程研发团队经过充分调研论证,还形成了Triton编译器在MUSA架构上适配的完整方案,力求实现开发者在基于摩尔线程全功能GPU进行Triton开发算子过程中,也能获得与原来一致的体验,做到CUDA框架和MUSA框架的无缝迁移。
此次合作不仅充分展示了摩尔线程全功能GPU强大的兼容性、灵活性与扩展性,也为开发者和用户带来了更广泛的选择和更高效的开发体验。摩尔线程和智源研究院将继续深化合作,共同促进AI技术的发展和应用,为中国大模型的发展贡献力量。