Meta 推出下一代训练和推理加速器 （MTIA） 芯片
发布时间：2024-04-11 10:15:48 热度：191
4/11/2024，光纤在线讯，据外媒报道：Meta 透露了有关其下一代 Meta 训练和推理加速器 （MTIA） 的详细信息，这是一个旨在优化公司 AI 工作负载的定制芯片系列。与前身 MTIA v1 相比，最新版本展示了显著的性能改进，并在为 Meta 的广告排名和推荐模型提供支持方面发挥了至关重要的作用。
新的 MTIA 芯片是 Meta 对 AI 基础设施不断增长的投资的一部分，旨在补充现有和未来的 AI 系统，以改善其产品和服务的用户体验。随着 AI 模型的计算需求随着其复杂性的不断提高，Meta 认识到开发高效且可扩展的解决方案以支持生成式 AI （GenAI） 产品、推荐系统和高级 AI 研究的重要性。
在引擎盖下，新的MTIA芯片具有8x8的处理元件（PE）网格，可大幅提升密集计算性能（比MTIA v1提高3.5倍）和稀疏计算性能（提高7倍）。该芯片的架构专注于实现计算、内存带宽和内存容量的最佳平衡，以便有效地为排名和推荐模型提供服务，即使批量大小相对较小。
图源：Meta官网
此外，Meta 开发了一个大型机架式系统，可容纳多达 72 个加速器，以支持下一代芯片。该系统旨在将芯片的时钟频率从 800 MHz 提高到 1.35GHz，并以 90 瓦的功率运行，与第一代设计相比，确保具有更高的计算、内存带宽和内存容量的更密集的功能。
自 Meta 开始投资 MTIA 以来，软件一直是其重点关注的领域。MTIA 堆栈旨在与 PyTorch 2.0 以及 TorchDynamo 和 TorchInductor 等功能完全集成。Meta 还通过创建 Triton-MTIA 编译器后端来优化软件堆栈，该后端为 MTIA 硬件生成高性能代码并提高开发人员的工作效率。
早期结果表明，在评估的四个关键型号中，下一代MTIA芯片的性能比第一代芯片提高了3倍。在平台层面，Meta 的设备数量增加了一倍，并配备了强大的 2 插槽 CPU，与第一代 MTIA 系统相比，实现了 6 倍的型号服务吞吐量和 1.5 倍的每瓦性能提升。
目前，MTIA 已经部署在 Meta 的数据中心，并正在积极为生产中的模型提供服务。事实证明，该芯片与商用 GPU 高度互补，可在 Meta 特定工作负载上提供性能和效率的最佳组合。作为 Meta 长期路线图的一部分，MTIA 将继续发展和扩展，以支持公司雄心勃勃的 AI 目标，包括支持 GenAI 工作负载以及对内存带宽、网络和容量的投资。
来源：maginative
新的 MTIA 芯片是 Meta 对 AI 基础设施不断增长的投资的一部分，旨在补充现有和未来的 AI 系统，以改善其产品和服务的用户体验。随着 AI 模型的计算需求随着其复杂性的不断提高，Meta 认识到开发高效且可扩展的解决方案以支持生成式 AI （GenAI） 产品、推荐系统和高级 AI 研究的重要性。
在引擎盖下，新的MTIA芯片具有8x8的处理元件（PE）网格，可大幅提升密集计算性能（比MTIA v1提高3.5倍）和稀疏计算性能（提高7倍）。该芯片的架构专注于实现计算、内存带宽和内存容量的最佳平衡，以便有效地为排名和推荐模型提供服务，即使批量大小相对较小。
此外，Meta 开发了一个大型机架式系统，可容纳多达 72 个加速器，以支持下一代芯片。该系统旨在将芯片的时钟频率从 800 MHz 提高到 1.35GHz，并以 90 瓦的功率运行，与第一代设计相比，确保具有更高的计算、内存带宽和内存容量的更密集的功能。
自 Meta 开始投资 MTIA 以来，软件一直是其重点关注的领域。MTIA 堆栈旨在与 PyTorch 2.0 以及 TorchDynamo 和 TorchInductor 等功能完全集成。Meta 还通过创建 Triton-MTIA 编译器后端来优化软件堆栈，该后端为 MTIA 硬件生成高性能代码并提高开发人员的工作效率。
早期结果表明，在评估的四个关键型号中，下一代MTIA芯片的性能比第一代芯片提高了3倍。在平台层面，Meta 的设备数量增加了一倍，并配备了强大的 2 插槽 CPU，与第一代 MTIA 系统相比，实现了 6 倍的型号服务吞吐量和 1.5 倍的每瓦性能提升。
目前，MTIA 已经部署在 Meta 的数据中心，并正在积极为生产中的模型提供服务。事实证明，该芯片与商用 GPU 高度互补，可在 Meta 特定工作负载上提供性能和效率的最佳组合。作为 Meta 长期路线图的一部分，MTIA 将继续发展和扩展，以支持公司雄心勃勃的 AI 目标，包括支持 GenAI 工作负载以及对内存带宽、网络和容量的投资。
来源：maginative
