(报告出品方 / 作者:广发证券,李娜,王亮)
一、OpenAI 正式发布多模态大模型 GPT-4,实现多重能力跃升
(一)多模态大模型 GPT- 4 是 OpenAI 公司 GPT 系列最新一代模型
美国 OpenAI 公司成立于 2015 年 12 月,是全球顶级的人工智能研究机构之一,创始人 包括 Elon Musk、著名投资者 Sam Altman、支付服务 PayPal 创始人 Peter Thiel 等人。OpenAI 作为人工智能领域的革命者,成立至今开发出多款人工智能产品。2016 年,OpenAI 推出了用于强化学习研究的工具集 OpenAI Gym;同时推出开源平台 OpenAI Universe,用于测试和评估智能代理机器人在各类环境中的表现。2019 年,OpenAI 发布了 GPT- 2 模型,可根据输入文本自动生成语言,展现出人工智能创造性思维的 能力;2020 年更新了 GPT- 3 语言模型,并在其基础上发布了 OpenAI Codex 模型,该 模型可以自动生成完整有效的程序代码。
2021 年 1 月,OpenAI 发布了 OpenAI CLIP,用于进行图像和文本的识别分类;同时推出全新产品 DALL-E,该模型可以根据文字 描述自动生成对应的图片,2022 年更新的 DALL-E2 更是全方位改进了生成图片的质 量,获得了广泛好评。2022 年 12 月,OpenAI 推出基于 GPT-3.5 的新型 AI 聊天机器人 ChatGPT,在发布进 两个月后拥有 1 亿用户,成为史上用户增长最快的应用;美东时间 2023 年 3 月 14 日,ChatGPT 的开发机构 OpenAI 正式推出多模态大模型 GPT-4。
![通信行业专题报告:GPT~4 引发新一轮 AI 算力需求爆发 通信行业专题报告:GPT~4 引发新一轮 AI 算力需求爆发](https://idknowai.com/wp-content/uploads/2023/07/c148e997d49d7502f76a569347405673.jpg)
GPT(General Pre-Training)系列模型即通用预训练语言模型,是一种利用 Transformer 作为特征抽取器,基于深度学习技术的自然语言处理模型。GPT 系列模型由 OpenAI 公司开发,经历了长达五年时间的发展:(1)其最早的产品 GPT 模型于 2018 年 6 月发布,该模型可以根据给定的文本序列进 行预测下一个单词或句子,充分证明通过对语言模型进行生成性预训练可以有效减 轻 NLP 任务中对于监督学习的依赖;(2)2019 年 2 月 GPT- 2 模型发布,该模型取消了原 GPT 模型中的微调阶段,变为无 监督模型,同时,GPT- 2 采用更大的训练集尝试 zero-shot 学习,通过采用多任务模 型的方式使其在面对不同任务时都能拥有更强的理解能力和较高的适配性;
(3)GPT- 3 模型于 2020 年 6 月被发布,它在多项自然语言处理任务上取得了惊人的 表现,并被认为是迄今为止最先进的自然语言处理模型之一。GPT- 3 训练使用的数 据集为多种高质量数据集的混合,一次保证了训练质量;同时,该模型在下游训练 时用 Few-shot 取代了 GPT- 2 模型使用的 zero-shot,即在执行任务时给予少量样例,以此提高准确度;除此之外,它在前两个模型的基础上引入了新的技术——“零样 本学习”,即 GPT- 3 即便没有对特定的任务进行训练也可以完成相应的任务,这使 得 GPT- 3 面对陌生语境时具有更好的灵活性和适应性。
(4)2022 年 11 月,OpenAI 发布 GPT-3.5 模型,是由 GPT- 3 微调出来的版本,采用 不同的训练方式,其功能更加强大。基于 GPT-3.5 模型,并加上人类反馈强化学习(RLHF)发布 ChatGPT 应用,ChatGPT 的全称为 Chat Generative Pre-trained Transformer,是建立在大型语言模型基础上的对话式自然语言处理工具,表现形式 是一种聊天机器人程序,能够学习及理解人类的语言,根据聊天的上下文进行互动,甚至能够完成翻译、编程、撰写论文、编辑邮件等功能。(5)2023 年 3 月,OpenAI 正式发布大型多模态模型 GPT-4(输入图像和文本,输出 文本输出),此前主要支持文本,现模型能支持识别和理解图像。
![通信行业专题报告:GPT~4 引发新一轮 AI 算力需求爆发 通信行业专题报告:GPT~4 引发新一轮 AI 算力需求爆发](https://idknowai.com/wp-content/uploads/2023/07/ab0c12d5a8f12ba9baa7ad0de4067970.jpg)
(二)GPT 大模型通过底层技术的叠加,实现组合式的创新
由于 OpenAI 并没有提供关于 GPT- 4 用于训练的数据、算力成本、训练方法、架构等 细节,故我们本章主要讨论 ChatGPT 模型的技术路径。ChatGPT 模型从算法分来上来讲属于生成式大规模语言模型,底层技术包括 Transformer 架构、有监督微调训练、RLHF 强化学习等,ChatGPT 通过底层技术 的叠加,实现了组合式的创新。GPT 模型采用了由 Google 提出的 Transformer 架构。Transformer 架构采用自注意 力机制的序列到序列模型,是目前在自然语言处理任务中最常用的神经网络架构之 一。相比于传统的循环神经网络(RNN)或卷积神经网络(CNN),Transformer 没有显式的时间或空间结构,因此可以高效地进行并行计算,并且 Transformer 具有 更好的并行化能力和更强的长序列数据处理能力。
ChatGPT 模型采用了“预训练 + 微调”的半监督学习的方式进行训练。第一阶段是 Pre-Training 阶段,通过预训练的语言模型(Pretrained Language Model),从大 规模的文本中提取训练数据,并通过深度神经网络进行处理和学习,进而根据上下 文预测生成下一个单词或者短语,从而生成流畅的语言文本;第二阶段是 Fine-tuning 阶段,将已经完成预训练的 GPT 模型应用到特定任务上,并通过少量的有标注的数 据来调整模型的参数,以提高模型在该任务上的表现。
ChatGPT 在训练中使用了 RLHF 人类反馈强化学习模型,是 GPT- 3 模型经过升级并 增加对话功能后的最新版本。2022 年 3 月,OpenAI 发布 InstructGPT,这一版本是 GPT- 3 模型的升级版本。相较于之前版本的 GPT 模型,InstructGPT 引入了基于人类 反馈的强化学习技术(Reinforcement Learning with Human Feedback,RLHF),对模型进行微调,通过奖励机制进一步训练模型,以适应不同的任务场景和语言风 格,给出更符合人类思维的输出结果。
RLHF 的训练包括训练大语言模型、训练奖励模型及 RLHF 微调三个步骤。首先,需 要使用预训练目标训练一个语言模型,同时也可以使用额外文本进行微调。其次,基于语言模型训练出奖励模型,对模型生成的文本进行质量标注,由人工标注者按 偏好将文本从最佳到最差进行排名,借此使得奖励模型习得人类对于模型生成文本 序列的偏好。最后利用奖励模型输出的结果,通过强化学习模型微调优化,最终得 到一个更符合人类偏好语言模型。
![通信行业专题报告:GPT~4 引发新一轮 AI 算力需求爆发 通信行业专题报告:GPT~4 引发新一轮 AI 算力需求爆发](https://idknowai.com/wp-content/uploads/2023/07/cc797a6515c284a4522b2795ddc7315e.jpg)
(三)GPT- 4 相较于 ChatGPT 实现多重能力跃迁
ChatGPT 于 2022 年 11 月推出之后,仅用两个月时间月活跃用户数便超过 1 亿,在短 时间内积累了庞大的用户基数,也是历史上增长最快的消费应用。多模态大模型 GPT- 4 是 OpenAI 的里程碑之作,是目前最强的文本生成模型。ChatGPT 推出后的三个多月时间里 OpenAI 就正式推出 GPT-4,再次拓宽了大模型的 能力边界。GPT- 4 是一个多模态大模型(接受图像和文本输入,生成文本),相比 上一代,GPT- 4 可以更准确地解决难题,具有更广泛的常识和解决问题的能力:更 具创造性和协作性;能够处理超过 25000 个单词的文本,允许长文内容创建、扩展 对话以及文档搜索和分析等用例。
(1)GPT- 4 具备更高的准确性及更强的专业性。GPT- 4 在更复杂、细微的任务处理 上回答更可靠、更有创意,在多类考试测验中以及与其他 LLM 的 benchmark 比较中 GPT- 4 明显表现优异。GPT- 4 在模拟律师考试 GPT- 4 取得了前 10% 的好成绩,相比 之下 GPT-3.5 是后 10%;生物学奥赛前 1%;美国高考 SAT 中 GPT- 4 在阅读写作中拿 下 710 分高分、数学 700 分(满分 800)。
(2)GPT 能够处理图像内容,能够识别较为复杂的图片信息并进行解读。GPT-4 突破了纯文字的模态,增加了图像模态的输入,支持用户上传图像,并且具备强大 的图像能力—能够描述内容、解释分析图表、指出图片中的不合理指出或解释梗图。在 OpenAI 发布的产品视频中,开发者给 GPT- 4 输入了一张“用 VGA 电脑接口给 iPhone 充电”的图片,GPT- 4 不仅可以可描述图片,还指出了图片的荒谬之处。
(3)GPT- 4 可以处理超过 25000 字的文本。在文本处理上,GPT- 4 支持输入的文字 上限提升至 25000 字,允许长文内容创建、扩展对话以及文档搜索和分析等用例。且 GPT- 4 的多语言处理能力更优,在 GPT- 4 的测评展示中,GPT- 4 可以解决法语的 物理问题,且在测试的英语、拉脱维亚语、威尔士语和斯瓦希里语等 26 种语言中,有 24 种语言下,GPT- 4 优于 GPT-3.5 和其他大语言模型(Chinchilla、PaLM)的英 语语言性能。(4)具备自我训练与预测能力,同时改善幻觉、安全等局限性。GPT- 4 的一大更新 重点是建立了一个可预测拓展的深度学习栈,使其具备了自我训练及预测能力。同 时,GPT- 4 在相对于以前的模型已经显著减轻了幻觉问题。在 OpenAI 的内部对抗性 真实性评估中,GPT- 4 的得分比最新的 GPT-3.5 模型高 40%;在安全能力的升级上,GPT- 4 明显超出 ChatGPT 和 GPT3.5。
![通信行业专题报告:GPT~4 引发新一轮 AI 算力需求爆发 通信行业专题报告:GPT~4 引发新一轮 AI 算力需求爆发](https://idknowai.com/wp-content/uploads/2023/07/bec426ca4724721a494fb2fd3c2e1792.jpg)
(四)商业模式愈发清晰,微软 Copilot 引发跨时代的生产力变革
OpenAI 已正式宣布为第三方开开发者开放 ChatGPT API,价格降低加速场景应用 爆发。起初 ChatGPT 免费向用户开放,以获得用户反馈;今年 2 月 1 日,Open AI 推 出新的 ChatGPT Plus 订阅服务,收费方式为每月 20 美元,订阅者能够因此而获得更 快、更稳定的响应并优先体验新功能。3 月 2 日,OpenAI 官方宣布正式开放 ChatGPT API(应用程序接口),允许第三方开发者通过 API 将 ChatGPT 集成至他们的应用程 序和服务中,价格为 1ktokens/$0.002,即每输出 100 万个单词需要 2.7 美元,比已有 的 GPT-3.5 模型价格降低 90%。模型价格的降低将推动 ChatGPT 被集成到更多场景 或应用中,丰富 ChatGPT 的应用生态,加速多场景应用的爆发。
GPT- 4 发布后 OpenAI 把 ChatGPT 直接升级为 GPT- 4 最新版本,同时开放了 GPT-4 的 API。ChatGPT Plus 付费订阅用户可以获得具有使用上限的 GPT- 4 访问权限(每 4 小时 100 条消息),可以向 GPT- 4 模型发出纯文本请求。用户可以申请使用 GPT-4 的 API,OpenAI 会邀请部分开发者体验,并逐渐扩大邀请范围。该 API 的定价为每输 入 1000 个字符 (约合 750 个单词),价格为 0.03 美元;GPT- 4 每生成 1000 个字符价格为 0.06 美元。Office 引入 GPT- 4 带来的结果是生产力、创造力的全面跃升。微软今天宣布,其与 OpenAI 共同开发的聊天机器人技术 Bing Chat 正在 GPT- 4 上运行。
Copilot OpenAI 发布升级后的 GPT- 4 后,微软重磅发布了 GPT- 4 平台支持的新 AI 功能,Microsoft 365 Copilot,并将其嵌入 Word、PowerPoint、Excel、Teams 等 Office 办 公软件中。Copilot 可以在一篇速记的基础上快速生成新闻草稿、并完成草稿润色;在 Excel 中完成各种求和、求平均数,做表格、归纳数据、甚至是完成总结提取;在 PPT 上可以直接将文稿内容一键生成;在 Outlook 邮件中自动生成内容、并自由调整 写作风格、插入图表;在 Teams 中总结视频会议的要点 / 每个发言人谁说了核心内容,跟进会议流程和内容,自动生成会议纪要、要点和任务模板。基于 GPT- 4 的 Copilot 可以看作是一个办公 AI 助理,充分发挥出了 AI 对于办公场景的赋能作用,有望从根 本上改变工作模式并开启新一轮生产力增长浪潮。
![通信行业专题报告:GPT~4 引发新一轮 AI 算力需求爆发 通信行业专题报告:GPT~4 引发新一轮 AI 算力需求爆发](https://idknowai.com/wp-content/uploads/2023/07/2f4e03331b0bef58f3de2dc1037861da.jpg)
二、GPT- 4 带动多模态 x 多场景落地,AIGC 蓝海市场打开
(一)历经三阶段发展,AIGC 技术升级步入深化阶段
AIGC 全程为 AI-Generated Content,人工智能生成内容,是继专业生成内容(PGC,Professional Generate Content)和用户生成内容(UGC,User Generate Content)之后,利用 AI 自动生成内容的新型生产方式。传统 AI 大多属于分析式 AI,对已有数 据进行分析并应用于相应领域。以 AIGC 为典型的生成式 AI 不在局限于分析固有数据,而是基于训练数据和算法模型自主生成创造新的文本、3D、视频等各种形式的内容。
历经三阶段迭代,AIGC 现已进入快速发展阶段:(1)早期萌芽阶段(1950s-1990s),受限于科技水平及高昂的系统成本,AIGC 仅限于小范围实验。(2)沉淀积累阶段(1990s-2010s),AIGC 开始从实验性向实用性逐渐转变。但 由于其受限于算法瓶颈,完成创作能力有限,应用领域仍具有局限性;(3)快速发展阶段(2010s- 至今),GAN(Generative Adversarial Network, 生成 式对抗网络)等深度学习算法的提出和不断迭代推动了 AIGC 技术的快速发展,生成 内容更加多元化。
AIGC 可分为智能数字内容孪生、智能数字内容编辑及智能数字内容创作三大层次。生成式 AI 是指利用现有文本、音频文件或图像创建新内容的人工智能技术,其起源 于分析式 AI,在分析式 AI 总结归纳数据知识的基础上学习数据产生模式,创造出新 的样本内容。在分析式 AI 的技术基础上,GAN、Transformer 网络等多款生成式 AI 技术催生出许多 AIGC 产品,如 DALL-E、OpenAI 系列等,它们在音频、文本、视觉 上有众多技术应用,并在创作内容的方式上变革演化出三大前沿能力。AIGC 根据面 向对象、实现功能的不同可以分为智能数字内容孪生、智能数字内容编辑及智能数 字内容创作三大层次。
(二)生成算法 + 预训练模型 + 多模态推动 AIGC 的爆发
AIGC 的爆发离不开其背后的深度学习模型的技术加持,生成算法、预训练和多模态 技术的不断发展帮助了 AIGC 模型具备通用性强、参数海量、多模态和生成内容高质 量的特质,让 AIGC 实现从技术提升到技术突破的转变。(1)生成算法模型不断迭代创新,为 AIGC 的发展奠定基础。早期人工智能算法学 习能力不强,AIGC 技术主要依赖于事先指定的统计模型或任务来完成简单的内容生 成和输出,对客观世界和人类语言文字的感知能力较弱,生成内容刻板且具有局限 性。GAN(Generative Adversarial Network, 生成式对抗网络)的提出让 AIGC 发展 进入新阶段,GAN 是早期的生成模型,利用博弈框架产生输出,被广泛应用于生成 图像、视频语音等领域。随后 Transformer、扩散模型、深度学习算法模型相继涌现。
![通信行业专题报告:GPT~4 引发新一轮 AI 算力需求爆发 通信行业专题报告:GPT~4 引发新一轮 AI 算力需求爆发](https://idknowai.com/wp-content/uploads/2023/07/2648b5a3eba92171113126588ff8d1de.jpg)
Transformer 被广泛应用于 NLP、CV 等领域,GPT-3、LaMDA 等预训练模型大多是 基于 transformer 架构构建的。ChatGPT 是基于 Transformer 架构上的语言模型,Transformer 负责调度架构和运算逻辑,进而实现最终计算。Tansformer 是谷歌于 2017 年《Attention is All You Need》提出的一种深度学习模型架构,其完全基于注 意力机制,可以按照输入数据各部分重要性来分配不同的权重,无需重复和卷积。相较于循环神经网络(RNN)流水线式的序列计算,Transformer 可以一次处理所有 的输入,摆脱了人工标注数据集的缺陷,实现了大规模的并行计算,模型所需的训 练时间明显减少,大规模的 AI 模型质量更优。
Transformer 的核心构成是编码模块和解码模块。GPT 使用的是解码模块,通过模 块间彼此大量堆叠的方式形成了 GPT 模型的底层架构,模块分为前馈神经网络层、编解码自注意力机制层(Self-Attention)、自注意力机制掩码层。自注意力机制层 负责计算数据在全部内容的权重(即 Attention),掩码层帮助模型屏蔽计算位置右 侧未出现的数据,最后把输出的向量结果输入前馈神经网络,完成模型参数计算。
(2)预训练模型引发 AIGC 技术能力的质变。AI 预训练模型是基于大规模宽泛的数 据进行训练后拥有适应广泛下游任务能力的模型,预训练属于迁移学习的领域,其 主旨是使用标注数据前,充分利用大量无标注数据进行训练,模型从中全面学习到 与标注无关的潜在知识,进而使模型灵活变通的完成下游任务。视觉大模型提升 AIGC 感知能力,语言大模型增强 AIGC 认知能力。
NLP 模型是一种使用自然语言处理(Natural Language Processing,NLP)技术来解决自然语言相关问题的机器学习模型。在 NLP 领域,AI 大模型可适用于人机语言交互,并进行自然语言处理从实现相应的文本分类、文本生成、语音识别、序列标注、机器翻译等功能。NLP 的研究经过了以规则为基础的研究方法和以统计为基础的研究方法的发展,目前以基于 Transformer 的预训练模型已成为当前 NLP 领域的研究热点,BERT、GPT 等模型均采用这一方法。CV 模型指计算机视觉模型,是一种基于图像或视频数据的人工智能模型。常见的 CV 模型有采用深度学习的卷积神经网络(CNN)和生成对抗网络(GAN)。
近年来以 视觉 Transformer(ViT)为典型的新型神经网络,通过人类先验知识引入网络设计,使得模型的收敛速度、泛化能力、扩展性及并行性得到飞速提升,通过无监督预训 练和微调学习,在多个计算机视觉任务,如图像分类、目标检测、物体识别、图像 生成等取得显著的进步。
![通信行业专题报告:GPT~4 引发新一轮 AI 算力需求爆发 通信行业专题报告:GPT~4 引发新一轮 AI 算力需求爆发](https://idknowai.com/wp-content/uploads/2023/07/fc4aa2cd6f23964fe34e7367f83087fa.jpg)
(3)多模态技术拓宽了 AIGC 技术的应用广度。多模态技术将不同模态(图像、声 音、语言等)融合在预训练模型中,使得预训练模型从单一的 NLP、CV 发展成音视 频、语言文字、文本图像等多模态、跨模态模型。多模态大模型通过寻找模态数据 之间的关联点,将不同模态的原始数据投射在相似的空间中,让模态之间的信号相 互理解,进而实现模态数据之间的转化和生成。这一技术对 AIGC 的原创生成能力的 发展起到了重要的支持作用,2021 年 OpenAI 推出 AI 绘画产品 DALL.E 可通过输入文 字理解生成符合语义且独一无二的绘画作品,其背后离不开多模态技术的支持。
(三)多模态 x 多场景落地,AIGC 爆发商业潜力
ChatGPT 的广泛应用意味着 AIGC 规模化、商业化的开始。ChatGPT 是文字语言模 态 AIGC 的具体应用,在技术、应用领域和商业化方面和传统 AI 产品均有所不同。ChatGPT 已经具备了一定的对现实世界内容进行语义理解和属性操控的能力,并可 以对其回以相应的反馈。ChatGPT 是 AIGC 重要的产品化应用,意味着 AIGC 规模化、商业化的开始。创新工场董事长兼 CEO 李开复博士在 3 月 14 日表示,ChatGPT 快速 普及将进一步引爆 AI 2.0 商业化。AI 2.0 是绝对不能错过的一次革命。
多家公司正加紧研发 ChatGPT 类似产品,引爆新一轮科技企业 AI 军备竞赛。在 GPT4 推出之后,Google 开放自家的大语言模型 API「PaLM API」,此外还发布了一款帮 助开发者快速构建 AI 程序的工具 MakerSuite。2 月底,Meta 公布一款全新的 AI 大型 语言模型 LLaMA,宣称可帮助研究人员降低生成式 AI 工具可能带来的“偏见、有毒 评论、产生错误信息的可能性”等问题。AIGC 的应用领域分为视频、音频、文本、图像、跨模态生成五个部分。
AIGC 以其 真实性、多样性、可控性、组合性的特质,为各行业、各领域提供了更加丰富多元、动态且可交互的内容。根据 AIGC 生成内容的模态不同,可将 AIGC 的应用领域分为 视频、音频、文本、图像、跨模态生成五个部分。其中,在图像、文本、音频等领 域,AIGC 已经得到了较大优化,生成内容质量得到明显提升;而在视频与跨模态内 容生成方面,AIGC 拥有巨大发展潜力。
![通信行业专题报告:GPT~4 引发新一轮 AI 算力需求爆发 通信行业专题报告:GPT~4 引发新一轮 AI 算力需求爆发](https://idknowai.com/wp-content/uploads/2023/07/0056fcf9ebb5171919ea2d2f2fff58e2.jpg)
三、高算力需求带动基础设施迭代加速
(一)AI 大模型驱动高算力需求
数据、算力及模型是人工智能发展的三要素。以 GPT 系列为例:(1)数据端:自 OpenAI 于 2018 年发布 GPT-1,到 2020 年的 GPT-3,GPT 模型参数 数量和训练数据量实现指数型增长。参数数量从 GPT- 1 的 1.17 亿增长到 GPT- 3 的 1750 亿,训练数据量从 5GB 增长到的 45TB;(2)模型端:ChatGPT 在以往模型的基础上,在语料库、计算能力、预训练、自我 学习能力等方面有了明显提升,同时 Transformer 架构突破了人工标注数据集的不足,实现与人类更顺畅的交流;(3)算力端:根据 OpenAl 发布的《Language Models are Few-Shot Learners》,训练 13 亿参数的 GPT-3 XL 模型训练一次消耗的算力约为 27.5 PFlop/s-dav,训练 1750 亿参数的完整 GPT- 3 模型则会消耗算力 3640 PFlop/s-dav(以一万亿次每秒速 度计算,需要 3640 天完成)。
在人工智能发展的三要素中,数据与算法都离不开算力的支撑。随着 AI 算法突飞猛 进的发展,越来越多的模型训练需要巨量算力支撑才能快速有效实施,同时数据量 的不断增加也要求算力配套进化。如此看来,算力成为 AI 突破的关键因素。AI 大模型的算力需求主要来自于预训练、日常运营和模型微调。(1)预训练:在完成完整训练之前,搭建一个网络模型完成特定任务,在训练网络 过程中不断调整参数,直至网络损失和运行性能达到预期目标,此时可以将训练模 型的参数保存,用于之后执行类似任务。根据中国信通院数据,ChatGPT 基于 GPT3.5 系列模型,模型参数规模据推测达十亿级别,参照参数规模相近的 GPT-3 XL 模型,则 ChatGPT 完整一次预训练消耗算力约为 27.5 PFlop/s-dav。
(2)日常运营:满足用户日常使用数据处理需求。根据 Similarweb 的数据,23 年 1 月份 ChatGPT 月活约 6.16 亿,跳出率 13.28% 每次访问页数 5.85 页,假设每页平均 200 token。同时假设:模型的 FLlops 利用率为 21.3% 与训练期间的 GPT- 3 保持一致;完整参数模型较 GPT- 3 上升至 2500 亿;以 FLOPs 为指标,SOTA 大型语言在在推理过程中每个 token 的计算成本约为 2N。根据以上数据及假设,每月日常运营消耗算力约为 6.16 亿 *2*(1-13.28%)*5.85*200*2500 亿 /21.3%=14672PFlop/s-day。(3)模型微调:执行类似任务时,使用先前保存的模型参数作为初始化参数,在训练过程中依据结果不断进行微调,使之适应新的任务。
ChatGPT 引发新一轮 AI 算力需求爆发。根据 OpenAI 发布的《AI and Compute》分 析报告中指出,自 2012 年以来,AI 训练应用的算力需求每 3.4 个月就回会翻倍,从 2012 年至今,AI 算力增长超过了 30 万倍。据 OpenAI 报告,ChatGPT 的总算力消耗 约为 3640PF-days(即假如每秒计算一千万亿次,需要计算 3640 天),需要 7 - 8 个算 力 500P 的数据中心才能支撑运行。上海新兴信息通信技术应用研究院首席专家贺仁 龙表示,“自 2016 年阿尔法狗问世,智能算力需求开启爆发态势。如今 ChatGPT 则 代表新一轮 AI 算力需求的爆发”。
![通信行业专题报告:GPT~4 引发新一轮 AI 算力需求爆发 通信行业专题报告:GPT~4 引发新一轮 AI 算力需求爆发](https://idknowai.com/wp-content/uploads/2023/07/551d5a948c754464bbbb0a6058c89115.jpg)
全球算力规模将呈现高速增长态势。根据国家数据资源调查报告数据,2021 年全球 数据总产量 67ZB,近三年平均增速超过 26%,经中国信息通信研究院测算,2021 年全球计算设备算力总规模达到 615EFlops,增速达 44%。根据中国信通院援引的 IDC 数据,2025 年全球算力整体规模将达 3300EFlops,2020-2025 年的年均复合增 长率达到 50.4%。结合华为 GIV 预测,2030 年人类将迎来 YB 数据时代,全球算力规 模达到 56ZFlops,2025-2030 年复合增速达到 76.2%。
(二)云商 / 运营商推进 AI 领域算力基础设施投入
北美云厂商资本支出向技术基础设施和新数据中心架构倾斜。22Q4 亚马逊资本支出 主要用于技术基础设施的投资,其中大部分用于支持 AWS 业务增长与支持履行网络 的额外能力。预计未来相关投资将延续,并增加在技术基础设施方面的支出。谷歌 指引 2023 年资本开支与 2022 年基本持平,其中技术基础设施有所增加,而办公基础 设施将减少。Meta2022 年资本开支为 314.3 亿美元,同比增长 69.3%,但同时 Meta 略微调低其 2023 年资本开支预期至 300-330 亿美元(此前预期为 340-370 亿美元),主要原因系减少数据中心建设的相关支出,转向新的更具成本效益的、同时支持 AI 和非 AI 工作量的数据中心新架构。
国内三大运营商积极布局算力网络,资本支出向新兴业务倾斜。电信运营商作为数 字基座打造者,运营商数字业务板块成为收入增长的主要引擎,近几年资本支出由 主干网络向新兴业务倾斜。中国移动计划 2022 年全年算力网络投资 480 亿元,占其 总资本开支的 39.0%。2022Q3,中国移动算力规模达到 7.3EFLOPS,并计划在 2025 年底达到 20EFLOPS 以上。中国电信产业数字化资本开支占比同比上升 9.3pc,算力 总规模计划由 2022 年中的 3.1EFLOPS 提升至 2025 年底的 16.3EFLOPS。中国联通 2022 年预计算力网络资本开支达到 145 亿,同比提升 43%,云投资预计提升 88%。
作为算力基础设施建设的主力军,三大运营商目前已经进行前瞻性的基础设施布局。通信运营商自身拥有优质网络、算力、云服务能力的通信运营商,同时具备天然的 产业链优势,依靠 5G+AI 技术优势,为下游客户提供 AI 服务能力,是新型信息服务 体系中重要的一环,助力千行百业数字化转型。在移动网络方面,中国运营商已建 设覆盖全国的高性能高可靠 4 /5G 网络;在固定宽带方面,光纤接入(FTTH/O)端 口达到 10.25 亿个,占比提升至 95.7%;在算力网络方面,运营商在资本开支结构上 向算力网络倾斜,提升服务全国算力网络能力。在 AI 服务能力方面,加快 AI 领域商 业化应用推出,发挥自身产业链优势,助力千行百业数字化转型。
![通信行业专题报告:GPT~4 引发新一轮 AI 算力需求爆发 通信行业专题报告:GPT~4 引发新一轮 AI 算力需求爆发](https://idknowai.com/wp-content/uploads/2023/07/c4eca17592d04c8b269f13462b207f0c.jpg)
(三)算力需求带动数据中心架构及技术加速升级
1、数据中心呈现超大规模发展趋势。超大规模数据中心,即 Hyperscale Data Center,与传统数据中心的核心区别在于 超大规模数据中心具备更强大的可扩展性及计算能力。1)规模上,超级数据中心可 容纳的规模要比传统数据中心大得多,可以容纳数百万台服务器和更多的虚拟机;2)性能上,超级数据中心具有更高的可扩展性和计算能力,能够满足数据处理数量和 速率大幅提升的需求。
具体来讲,相较于传统数据中心,超大规模数据中心的优势在于:(1)可扩展性:超大规模数据中心的网络基础架构响应更迅速、扩展更高效且更具 成本效益,并且提供快速扩展存储和计算资源以满足需求的能力,超大规模数据中 心通过在负载均衡器后水平扩展,快速旋转或重新分配额外资源并将其添加到现有 集群,可以实现快速向集群添加额外资源,从而在不中断操作的情况下进行扩展;(2)定制化:超大规模数据中心采用更新的服务器设计,具有更宽的机架,可以容 纳更多组件并且允许定制化设计服务器,使得服务器能够同时接入多个电源和硬盘 驱动器;
(3)自动化服务:超大规模数据中心提供自动化服务,帮助客户管理高流量网站和 需要专门处理的高级工作负载,例如密码学、基因处理和三维渲染;(4)冷却效率更高:超大规模数据中心对其电源架构进行了优化,并将冷却能力集 中在托管高强度工作负载的服务器,大大降低了成本和对环境的影响,电源使用效 率和冷却效率远高于传统数据中心;
(5)工作负载更平衡:超大规模数据中心有效地将工作负载分布在多台服务器上,从而避免单台服务器过热。避免了过热的服务器损坏附近的服务器,从而产生不必 要的连锁反应。Statista 数据显示,全球超大规模数据中心的数量从 2015 年的 259 个,提升到 2021 年 的 700 个。根据 PrecedenceResearch 的报告显示,全球超大规模数据中心市场规模 在 2021 年为 620 亿美元,到 2030 年将达到 5930 亿美元,预计在 2022-2030 年间以 28.52% 的复合增长率(CAGR)增长。
![通信行业专题报告:GPT~4 引发新一轮 AI 算力需求爆发 通信行业专题报告:GPT~4 引发新一轮 AI 算力需求爆发](https://idknowai.com/wp-content/uploads/2023/07/3514513e9909ded1771dd9816132b86a.jpg)
海内外云商均具备自己的超大规模数据中心。Structure Research 在其报告中估计,到 2022 年全球超大规模自建数据中心总容量将达到 13177 兆瓦(MW)。全球四大 超大规模数据中心平台——AWS、谷歌云、Meta 和微软 Azure——约占该容量的 78%。全球占主导地位的超大规模数据中心企业仍然是亚马逊、谷歌、Meta 和微软,在中 国,本土企业阿里巴巴、华为、百度、腾讯和金山云都是领先的超大规模数据中心 企业。
2、IB 网络技术将更广泛应用于 AI 训练超算领域。超级数据中心是具有更大规模和更高计算能力的数据中心。随着对数据处理数量和 速率需求的提升,数据中心的可扩展性需求也在迅速提升。超级数据中心在规模和 性能上较传统数据中心都有了大幅升级,能够满足超高速度扩展以满足超级需求的 能力。
泛 AI 应用是超算中心的重要下游。自 20 世纪 80 年代以来,超级计算主要服务于科研 领域。传统超算基本上都是以国家科研机构为主体的超算中心,如气象预测、地震 预测、航空航天、石油勘探等。截止 2022 年底,国内已建成 10 家国家超级计算中心,不少省份都建立起省级超算中心,服务于当地的中科院、气象局以及地震爆炸模型。一方面,行业头部企业将超算应用于芯片设计、生物医疗、材料测试等工业应用场 景;另一方面,自动驾驶训练、大语言模型训练、类 ChatGPT 等 AI 训练的需求,也 推动超算应用场景延伸至图像识别、视频识别定位、智能驾驶场景模拟以及对话和 客服系统等,成为超算中心的重要下游。
超级数据中心成为算力储备的重要方向,中美加速算力基建布局。凭借其在算力能 力及能耗效率的巨大提升,超级数据中心在算力储备中的地位日渐凸显。根据 Synergy Research Group 数据,全球超级数据中心数量从 2017 年的 390 个增长至 2021 年二季度的 659 个,增长近一倍,预计 2024 年总数将超 1000 个。份额方面,中 美持续加强超级数据中心的布局,占全球市场份额持续提升。
![通信行业专题报告:GPT~4 引发新一轮 AI 算力需求爆发 通信行业专题报告:GPT~4 引发新一轮 AI 算力需求爆发](https://idknowai.com/wp-content/uploads/2023/07/a3ef6c2bfb09a6b8871f4c18579eb233.jpg)
InfiniBand 网络满足大带宽和低时延的需求,成为超算中心的主流。InfiniBand(简 称 IB)是一个用于高性能计算的计算机网络通信标准,主要应用于大型或超大型数 据中心。IB 网络的主要目标是实现高的可靠性、可用性、可扩展性及高性能,且能 在单个或多个互联网络中支持冗余的 I / O 通道,因此能够保持数据中心在局部故障时 仍能运转。相比传统的以太网络,带宽及时延都有非常明显的优势。(一般 InfiniBand 的网卡收发时延在 600ns,而以太网上的收发时延在 10us 左右,英伟达推出的 MetroX- 3 提升长距离 InfiniBand 系统带宽至 400G)。作为未来算力的基本单元,高 性能的数据中心越来越多的采用 InfiniBand 网络方案,尤其在超算中心应用最为广 泛,成为 AI 训练网络的主流。
(四)细分受益环节
GPT- 4 多模态大模型将引领新一轮 AI 算力需求的爆发,超大规模数据中心及超算数 据中心作为泛 AI 领域的重要基础设施支持,其数量、规模都将相应增长,带动整个 算力基础设施产业链(如高端服务器 / 交换机、CPO 技术、硅光、液冷技术)的渗透 加速。同时在应用侧,Copilot 的推出加速 AI 在办公领域的赋能,看好办公场景硬件 配套厂商机会。
1、服务器 / 交换机:AIGC 带动算力爆发式增长,全球进入以数据为关键生产要素的数字经济时代。从国 内三大运营商资本支出结构上看,加码算力基础设施投资成重要趋势。重点推荐:中兴通讯。公司作为运营商板块算力投资的核心受益标的,持续在服务器及存储、交换机 / 路由器、数据中心等算力基础设施领域加强布局,将作为数字经济筑路者充 分受益我国数字经济建设。
算力需求带动上游硬件设备市场规模持续增长,高规格产品占比提升。伴随着数据 流量持续提升,交换机作为数据中心必要设备,预计全球数据中心交换机保持稳定 增长。2021 年全球数据中心交换机市场规模为 138 亿美元,预计到 2031 年将达 246 亿美元,2022 年至 2031 年复合年增长率为 5.9%。多元开放的 AI 服务器架构为可以人 工智能发展提供更高的性能和可扩展性的 AI 算力支撑,随着 AI 应用的发展,高性能 服务器数量有望随之增长,带动出货量及服务器单价相应提升。根据 IDC 报告,2022Q3,200/400GbE 交换机市场收入环比增长 25.2%,100GbE 交换机收入同比增 长 19.8%,高速部分呈现快速增长。
![通信行业专题报告:GPT~4 引发新一轮 AI 算力需求爆发 通信行业专题报告:GPT~4 引发新一轮 AI 算力需求爆发](https://idknowai.com/wp-content/uploads/2023/07/8cc70371569029aeca0f77a2aeaa92c2.jpg)
2、光模块 / 光芯片:算力需求提升推动算力基础设施升级迭代,传统可插拔光模块技术弊端和瓶颈开始 显现。(1)功耗过高,AI 技术的加速落地,使得数据中心面临更大的算力和网络流 量压力,交换机、光模块等网络设备升级的同时,功耗增长过快。以博通交换机芯 片为例,2010 年到 2022 年交换机芯片速率从 640G 提升到 51.2T,光模块速率从 10G 迭代到 800G。速率提升的同时,交换机芯片功耗提升了约 8 倍,光模块功耗提升了 26 倍,SerDes 功耗提升了 25 倍。(2)交换机端口密度难以继续提升,光模块速率 提升的同时,自身体积也在增大,而交换机光模块端口数量有限。(3)PCB 材料遭 遇瓶颈,PCB 用于传输高速电信号,传统可插拔光模块信号传输距离长、传输损失 大,更低耗损的可量产 PCB 材料面临技术难题难以攻克。
NPO/CPO 技术有望成为高算力背景下的解决方案。CPO(光电共封装技术)是一 种新型的高密度光组件技术,将交换芯片和光引擎共同装配在同一个 Socketed(插 槽)上,形成芯片和模组的共封装。CPO 可以取代传统的插拔式光模块技术,将硅 光电组件与电子晶片封装相结合,从而使引擎尽量靠近 ASIC,降低 SerDes 的驱动功 耗成本,减少高速电通道损耗和阻抗不连续性,实现更高密度的高速端口,提升带 宽密度,大幅减少功耗。
CPO 技术的特点主要有:(1)CPO 技术缩短了交换芯片和光引擎之间的距离(控制在 5~7cm),使得高速电信号在两者之间实现高质量传 输,满足系统的误码率(BER)要求;(2)CPO 用光纤配线架取代更大体积的可 插拔模块,系统集成度得到提升,实现更高密度的高速端口,提升整机的带宽密度;(3)降低功耗,根据锐捷网络招股说明书,采用 CPO 技术的设备整机相比于采用可 插拔光模块技术的设备,整机功耗降低 23%。
高算力背景下,数据中心网络架构升级带动光模块用量扩张及向更高速率的迭代。硅光、相干及光电共封装技术(CPO)等具备高成本效益、高能效、低能耗的特点,被认为是高算力背景下的解决方案。CPO 将硅光电组件与电子晶片封装相结合,使 引擎尽量靠近 ASIC,减少高速电通道损耗,实现远距离传送。目前,头部网络设备 和芯片厂商已开始布局硅光、CPO 相关技术与产品。
![通信行业专题报告:GPT~4 引发新一轮 AI 算力需求爆发 通信行业专题报告:GPT~4 引发新一轮 AI 算力需求爆发](https://idknowai.com/wp-content/uploads/2023/07/219508a1ab60940ad6856e5a5456fbde.jpg)
3、数据中心:IDC 数据中心:“东数西算”工程正式全面启动一周年,从系统布局进入全面建设阶 段。随着全国一体化算力网络国家枢纽节点的部署和“东数西算”工程的推进,算 力集聚效应初步显现,算力向规模化集约化方向加速升级,同时数据中心集中东部 的局得到改善,西部地区对东部地区数据计算需求的支撑作用越发明显。我们认为 政策面推动供给侧不断出清,AI 等应用将带动新一轮流量需求,有望打破数据中心 近两年供给过剩的局面,带动数据中心长期发展。
液冷温控:随云计算、AI、超算等应用发展,数据中心机柜平均功率密度数预计将 逐年提升,高密度服务器也将被更广泛的应用于数据中心中。数据中心液冷技术能 够稳定 CPU 温度、保障 CPU 在一定范围内进行超频工作不会出现过热故障,有效提 升了服务器的使用效率和稳定性,有助于提高数据中心单位空间的服务器密度, 大幅 提升数据中心运算效率,液冷技术有望在超高算力密度场景下持续渗透。
4、运营商:通信运营商自身拥有优质网络、算力、云服务能力的通信运营商,同时具备天然的 产业链优势,依靠 5G+AI 技术优势,为下游客户提供 AI 服务能力,是新型信息服务 体系中重要的一环,助力千行百业数字化转型。作为算力基础设施建设的主力军已 经进行前瞻性的基础设施布局。中国移动打造九天人工智能平台,推进 AI 商业化,赋能中国移动内外部数智化转型;中国电信全面布局大模型技术,积极探索产业版“ChatGPT”的商业化应用;中国联通全力升级算力网络,推动 5G 和 AI 技术的融合。
5、企业通信:3 月 16 日晚微软正式宣布推出 Microsoft 365 Copilot,将大型语言模型(LLMs)的能 力嵌入到 Office 办公套件产品中。基于 GPT- 4 的 Copilot 以其视频 + 图文的多模态分析 以及更强大生成与理解能力,可更深度、全面发挥视频会议 AI 助理功能,比如可以确定目标捕捉发言总结某人谈话要点、全面理解会议主要内容并自动整理及发送会 议纪要等。随着 Copilot 更强大功能对微软办公套件的加持,有望带动 Teams 需求的 增长,中国企业通信终端厂商将作为微软重要的硬件合作伙伴有望深度受益。
(本文仅供参考,不代表我们的任何投资建议。如需使用相关信息,请参阅报告原文。)
精选报告来源:【未来智库】
举报 / 反馈
原文链接:https://baijiahao.baidu.com/s?id=1761227445566451561&wfr=spider&for=pc