ChatGPT需要多少光模块:国信证券的推演

光纤在线编辑部  2023-04-03 14:03:13  文章来源:自我撰写  版权所有,未经书面许可严禁转载.

导读:基于英伟达方案,一个 SuperPOD 170个交换机,每个交换机有 40 个端口,最简单方式上下各70 台服务器,依次端口互联(上下 1:1 连接)对应的线缆需求为 40×170/2=3400 根,考虑实际部署情况上调至 4000 根线缆需求。其中,铜缆:AOC:光模块比例=4:4:2,对应光模块需求数量=4000*0.2*2=1600 个

4/03/2023,光纤在线讯,国信证券今天发布的研报“通信行业 2023 年 4 月投资策略——关注 AI 基础设施投资机会”对ChatGPT带来的包括光模块在内的人工智能AI基础设施进行了推算。

该份报告的关键相关内容包括:
和传统的数据中心的区别在于,在AI常见的Infini Band fat tree 结构下,使用的交换机数量更多,且因为每个节点上行下行的端口数完全一致。

英伟达所采用的 AI 集群模型中,对应的一个基本单元为 SuperPOD。一个标准的 SuperPOD 由 140 台 DGX A100 GPU 服务器、HDR InfiniBand 200G 网卡和 170 台 NVIDIA Quantum QM8790 交换机构建而成,其中交换机速率为 200G,每个端口数为 40 个。
基于英伟达方案,一个 SuperPOD 170个交换机,每个交换机有 40 个端口,最简单方式上下各70 台服务器,依次端口互联(上下 1:1 连接)对应的线缆需求为 40×170/2=3400 根,考虑实际部署情况上调至 4000 根线缆需求。其中,铜缆:AOC:光模块比例=4:4:2,对应光模块需求数量=4000*0.2*2=1600 个,即对于一个SuperPod,服务器:交换机:光模块的用量比例=140:170:1600=1:1.2:11.4
一个类似 GPT4.0 入门级别要求的需求大约需要3750 台 NVIDIA DGX A100服务器。在此条件下的光模块需求如下表:

根据 IDC 数据,2021 年全球 AI 服务器市场规模为 156 亿美元,预计到 2026 年全球 AI 服务器市场将达到 355 亿美元;2021 年中国 AI 服务器行业市场规模为 64 亿美元。
根据 IDC 数据,数据中心场景中,200/400G 端口出货量有望快速提升,22-26 年复合增速达 62%,预计 2026年全球交换机端口出货量超 8.7 亿个,市场规模超 440 亿美元。

读完这份报告,不得不佩服券商研究员的敏锐和深入。他们从AI数据中心架构出发推演出服务器,交换机和光模块的需求量。在这个推算过程中,编辑存疑的其实只有4:4:2这个比例关系。数据中心内对光模块的使用归根到底还是和流量需求直接相关。这个比例很可能只存在在满负荷工作的情况下,而现在AI数据中心内业务流量到底如何,还是值得问问的。
光纤在线

光纤在线公众号

更多猛料!欢迎扫描左方二维码关注光纤在线官方微信

相关产品

热门搜索

热门新闻

最新简历

  • 张** 深圳 项目工程师研发/开发工程师技术/工艺设计工程师
  • 刘** 衡阳 总工程师/副总工程师研发部经理光学工程师
  • 刘** 衡阳 总工程师/副总工程师技术/工艺设计经理/主管光学工程师
  • 张** 武汉 研发/开发工程师技术支持工程师
  • 刘** 深圳 技术/工艺设计经理/主管

展会速递

微信扫描二维码
使用“扫一扫”即可将网页分享至朋友圈。