当前位置:39分类目录 » 站长资讯 » 资讯文章 » 站长新闻 » 文章详细 订阅RssFeed

智源发布FlagAttention算子集 适配多种大模型训练芯片(智源什么意思)

来源:网络 浏览:7次 时间:2023-12-08

12月8日 消息:为了满足大模型对计算资源的需求,智源研究院开发了 FlagAttention 项目,旨在构建一套适配多种芯片的大模型核心算子集合。

该项目选择使用 Triton 作为开发语言,通过 Triton 的开放性和易用性,使得 FlagAttention 不仅支持 NVIDIA GPU,还可以显著降低不同芯片之间模型适配的成本,提高大模型的训练与推理效率。

微信截图_20231208143756.png

FlagAttention 目前包含两个算子:piecewise_attention 和 flash_attention。

其中,piecewise_attention 是针对长文本模型的分段式 Attention 算子,而 flash_attention 是基于 Triton 的高效 Multihead Attention 实现。

通过 FlagAttention,希望能够消除现有 AI 生态中的软件壁垒,让更广泛的模型用户能够使用到最新的模型优化技术。

未来,FlagAttention 还将支持更多功能,并与其他芯片厂商合作,优化算子的性能和适配。

项目地址:

https://github.com/FlagOpen/FlagAttention

https://github.com/FlagOpen/FlagAttention/issues