核心环节有望率先受益,ChatGPT促使算力“军备竞赛”开启

2023-02-16 10:25:58 作者:叶峰

ChatGPT是由微软投资的AI实验室OpenAI开发出的一款智能聊天机器人模型,它能够根据用户的文本输入,产生相应的智能回答。每一代GPT模型的参数量都快速增长,2019年2月发布的GPT-2参数量为15亿,而2020年5月的GPT-3,参数量达到了1750亿。ChatGPT能够实现当前如此强大的交互,离不开背后庞大的算力支撑,随着AI等新技术的发展,对高可靠、高性能、高安全算力需求更加突出。

据微软官网,微软Azure为OpenAI开发的超级计算机是一个单一系统,具有超过28.5万个CPU核心、1万个GPU和400 GB/s的GPU服务器网络传输带宽。据英伟达,使用单个Tesla架构的V100 GPU对1746亿参数的GPT-3模型进行一次训练,需要用288年时间。此外,算力资源的大量消耗,必然伴随着算力成本的上升,据Lambda,使用训练一次1746亿参数的GPT-3模型所需花费的算力成本超过460万美元。我们认为,未来拥有更丰富算力资源的模型开发者,或将能够训练出更优秀的AI模型,算力霸权时代或将开启。

具体来看,AI大模型对于算力资源的需求主要体现在以下三类场景:

首先,模型预训练:ChatGPT采用预训练语言模型,核心思想是在利用标注数据之前,先利用无标注的数据训练模型。据测算,训练一次ChatGPT模型(13亿参数)需要的算力约27.5PFlop/s-day;

其次,日常运营:用户交互带来的数据处理需求同样也是一笔不小的算力开支,测算得ChatGPT单月运营需要算力约4874.4PFlop/s-day,对应成本约616万美元;

最后,Finetune:ChatGPT模型需要不断进行Finetune模型调优,对模型进行大规模或小规模的迭代训练,产生相应算力需求。

华泰证券分析指出,随着国内厂商相继布局ChatGPT类似模型,算力需求或将持续释放,供给端核心环节或将率先受益:其一是算力芯片,GPU采用了数量众多的计算单元和超长的流水线,架构更适合进行大吞吐量的AI并行计算;其二则是服务器,ChatGPT模型训练涉及大量向量及张量运算,AI服务器具备运算效率优势,大模型训练有望带动AI服务器采购需求放量;最后为数据中心,IDC算力服务是承接AI计算需求的直接形式,随着百度、京东等互联网厂商相继布局ChatGPT类似产品,核心城市IDC算力缺口或将加大。

点评:当前处在以ChatGPT为主线的新一轮人工智能创新周期,ChatGPT为人工智能产业注入新活力,有望带动AIGC类应用快速爆发,人工智能技术作为驱动数据经济的技术底层,有望迎来新的发展机遇。数据、算力与算法是人工智能时代的三大基石,三者相互促进带动AI+应用快速落地,ChatGPT为首的自然语言处理类技术及应用,有望迎来全面爆发。

扫一扫分享本页