近三个月 ChatGPT 方兴未艾，OpenAI 趁势发布多模态预训练大模型 GPT-4，其能力的升级和应用的拓展又一次引爆国内外网络。本文将通过十问十答的形式，深入探讨 GPT- 4 的技术能力、特点及应用，带领读者一起揭开 GPT- 4 的神秘面纱。
作者：腾讯算法工程师 冉昱
前言
GPT- 4 作为 GPT 系列的最新模型，其整体实现逻辑与技术结构和 ChatGPT 类似，可以将其看做是拥有 更长上文 、能更好 理解复杂指令 、回答 更可靠 、更 风格化 、更 有创意 的图文版升级 ChatGPT，故本文未按照重头开始叙述的逻辑，在之前 ChatGPT 解构与思考逻辑之上，选取 GPT- 4 的关键的点作阐述，整理出 GPT- 4 核心的十个问题进行剖析。
Q1：GPT- 4 是什么？
GPT-4（Generative Pre-trained Transformer 4）是 OpenAI 发布的最新 GPT 系列模型，它是一个 大规模的多模态 模型，其可以接受 图像和文本输入 ，产生 文本输出 ，输出任务依旧是一个自回归的 单词预测 任务，这与外界之前的预期略微不同，预期中 GPT- 4 多模态会增加语音、图像、视频、文本多模态输入，输出可能也不局限于文字。
GPT 系列模型的整体情况如下图：
整体来说，GPT- 4 的能力已在各种专业和学术基准上表现出了 人类的水平 ，包括以大约前 10% 的成绩通过模拟律师资格考试，而对于生成式的幻觉、安全问题均有 较大的改善；同时因对于图片模态的强大识别能力扩大了 GPT- 4 的应用范围。
Q2：GPT- 4 相比 ChatGPT 和其他 GPT 模型，效果层面有哪些显著的改进或新增能力？表现在哪些方面？
GPT- 4 毫无疑问是目前 最强的文本生成 模型，GPT 系列模型整体可以总结为下图：
GPT- 4 的改进具体表现在：
突破纯文字的模态，增加了图像模态的输入，具有 强大的图像理解能力。
让人惊奇的是，GPT- 4 在 4 个场景下（4/8）零样本效果超过 fine-tuned 的 SOTA。
同时它可以解决各类 图文混合 的理解和生成问题，此处简单举两个例子，一个是根据图计算格鲁吉亚和西亚的日均肉消耗量：
一个是解决法语的物理问题：
可以看到 GPT- 4 在多语言理解、图文理解能力上均很强大并已 融会贯通。
支持更长的上下文窗口
如之前外网泄露图中，GPT- 4 存在两个版本，其支持的上下文分别是 8K 和 32K，是 ChatGPT 上下文长度的 2 倍和 8 倍，其成本也分别为 ChatGPT 的 3 倍和 7 倍。
复杂任务处理能力大幅提升
GPT- 4 在更复杂、更细微的任务处理上，回答更可靠、更有创意，这在多类考试测验中以及与其他 LLM 的 benchmark 比较中得到。
GPT- 4 在不同年龄段不同类别考试中均名列前茅，平均位列人类头部的 10% 行列；比如律师职业资格考试前 10%，生物学奥赛前 1% 等，下图可以明显看到，两个版本的 GPT- 4 胜出率很高；
MMLU benchmark 上，碾压其他大模型
多语言能力强大，特别是小语种能力也很出色
改善幻觉、安全等局限性：
在各类任务上幻觉问题显著减轻，比最新的 GPT-3.5 模型高 40%：
同样在安全能力的升级上，GPT- 4 明显超出 ChatGPT 和 GPT3.5。
建立 LLM 测试标准
开源 OpenAI Evals，创建和运行基准测试的框架，核心思想是对 GPT- 4 等模型进行评估，并逐个样本检验性能，此举是可以让大家指出其模型中的缺点，以帮助 OpenAI 进一步改进模型。
预测模型扩展性
这一点之前涉及比较少，GPT- 4 在 1 /1000 的计算量上即实现了扩展性的预测，特别在 LLM 不适合广泛调参的情况下，用较小的模型提前预测训练行为和 loss，极大地提升了训练效率，降低了训练成本，增强了 LLM 训练的可控性。
特别对于 Inverse Scaling Prize 这个任务，此任务提出了模型性能随规模而下降的几个任务，而 GPT- 4 可以通过提前预测模型扩展性，从而在 Inverse Scaling Prize 上的 Hindsight Neglect 任务逆转这一趋势。
重新实现了整个深度学习栈，从头开始设计了一台超级计算机
OpenAI 和微软合作，在 Azure 重建了深度学习堆栈，从头设计了一台专用超级计算机；基础训练设施的改进和定制，使得更大参数量模型的训练成为可能；
风格可控
此处核心是通过“系统”自定 Prompt，让模型可以按照规定风格完成任务回复；整体思想比较简单，如下图需要 GPT- 4 回复均按照 json 形式：
Q3：GPT- 4 相较于之前的 GPT 系列模型，在训练方式、模型架构上有哪些创新和优化？
整体很黑盒，但可以做一些合理的推测；
首先，模型 参数量 估计约为 10 万到 100 万亿 量级，主要根据 OpenAI 2020 提出的大模型缩放规律：计算预算增加 10 倍，数据集大小应增加约 1.83 倍，模型大小应增加 5.48 倍。按照下图估计，最右处的灰点极有可能为 ChatGPT（GPT3.5 类模型），图中可以看出 GPT- 4 计算量约为 GPT3.5 的 1000 多倍，则模型容量约为 548 倍左右，1750 亿 x548≈100 万亿；
其次，GPT- 4 模型 训练架构 加入了图像模态的输入，应与最近微软发布的 KOSMOS- 1 类似，即在预训练阶段输入任意顺序的文本和图像，图像经过Vision Encoder 向量化，文本经过普通 transformer 向量化，两者组成多模的句向量，训练目标仍为 next-word generation。
再者，对于模型 训练数据 内容和数量，文中提及训练数据中额外增加了包含正误数学问题、强弱推理、矛盾一致陈述及各种意识形态的数据，数据量级同样根据 OpenAI 2020 的缩放率，训练 100 万亿的模型，数据量是 GPT3.5（45TB 数据）的 190 倍。
最后，GPT- 4 是从头训练还是在某些基座模型上得来暂时无从得知；可以确定的是，它增加了后训练过程，整个过程类似于做 Prompt Engineering，核心是让模型知道如何在相应场景下合适的回答问题。
Q4：相比 ChatGPT，GPT- 4 有哪些新的应用亮点和场景？
GPT- 4 在 增强了安全抵御、任务完成度和图片理解能力 后，在 ChatGPT 基础之上有更多亮点和应用场景：
发布视频中根据潦草的手绘制作类似布局类似的网页：
加入视觉模态后，可以扩充到的盲人应用（Be my eyes）；强大的多语言能力帮助小语种语言的恢复（Iceland language preserve）、安全能力提升后的反欺诈（Stripe）等应用会应运而生：
在 AIGC 的版图上，建立以 GPT- 4 以及之后更多模态的大模型为基础，形成多模态 x 多场景（图来源：甲子光年）
Q5：GPT- 4 在生成过程中的逻辑性和准确性上有何改进？是否从根本上得到了解决？
GPT- 4 在生成逻辑性和准确性上 均取得了进展，需要注意的是，GPT- 4 基础模型在这项任务上只比 GPT-3.5 略好一点；然而经过 RLHF 的后训练后，效果才有了较大的改进，后训练整个过程类似于做 Prompt Engineering，核心是让模型知道如何在正确场景下做出合适的回答。
可以看到，GPT- 4 相比 GPT3.5 和 Anthropic 优势较明显，但绝对正确率只有 60% 左右，尚存在较多弊端，并没有从根本上解决这样的问题，也会是后续持续发展的方向。
Q6：GPT- 4 是否从根本上解决了安全问题，OpenAI 采用了哪些策略和技术？
GPT- 4 在安全问题上 收效显著 ，针对安全问题，GPT- 4 的主要解决思路是利用安全相关的 RLHF，在训练中加入 额外的安全奖励信号，奖励由 GPT-4 的 zero-shot 分类器提供，即文中提到的 RBRM（基于规则的奖励模型）方法，它是一系列零样本的 GPT-4 分类器；
具体来说，这些分类器接受三种输入：Prompt, Policy model 的输出以及可选的对输出的评估（人工编写）。利用这些不同安全等级的 prompt 进行训练：同时对 GPT- 4 在不安全回复拒绝回答的行为，以及在敏感领域做安全回答两个方面给予奖励，通过强化学习，最后显著改善安全能力，不安全内容下降 82%；敏感领域安全回答比率上升 29%；
和 ChatGPT RLHF 的方法类似，Alignment（对齐工作）在此处发挥了较大作用，同时未来也会有持续的发力空间，相比单纯累积模型参数量和数据量的“大力出奇迹”方式，其计算量相对较小。如下图，在 InstructGPT 文献中，加入 RLHF 的 1.3B 模型，在整体胜出率上，超出了 175B 的微调模型，节省了 100 倍的成本；
Q7：我们如何应对 ChatGPT/GPT- 4 的冲击？对技术人员、对行业影响是怎样的？
这个问题在 ChatGPT 出现之后便存在，GPT- 4 只是加剧了这样的担忧；对技术人员来说，需要在 研究命题、下游任务 方面做思考，NLP 很多单一子任务会随之消失，会引入新的研究命题：
如何精准提出需求；对 ChatGPT 进行“催眠”，Prompting Project；
如何更正错误：Neural Editing；
安全侦测 AI 生成，包括整个生成过程中的安全侦测和控制；
构建专有化模型，专用指令和 RLHF 发掘下游任务潜力；
Machine unleaning（学会忘记数据、隐私保护）等对于行业来说，不同层级公司，需要在不同 模块 寻找立足点，初步来看，初创企业适合入局中间层、数据平台和应用层，大厂适合入局算力、平台和基础层。
（图来源：甲子光年）
Q8：从 GPT- 4 可以看出未来 LLM 的哪些趋势？未来的研发方向和优化策略是什么？
闭源趋势 ，网友戏称 OpenAI 已沦为 Closed AI；毕竟从 GPT1 到 GPT-4，模型各类细节越来越闭源和黑盒，大模型战场的竞争因素决定了以 GPT- 4 为代表的 第一梯队模型 可能会越来越封闭，成为技术门槛；
更多模态、更多形态结合 ChatGPT 类模型：包括 Kosmos- 1 和具身智能 PaLM-E，同时从听、说、看、触等全方位结合，形成类似 真正智能体 的概念；
模型加速和降低成本 会是持续关注的方向，包括从训练、推理等多层面考量：
能力预测 是很重要的方向；即用小模型来预测广泛大模型的能力，极大减少试错成本，提升训练效率；
开源评测框架 对于 LLM 的评测具有重大意义，可以快速发现改进方向。
Q9：GPT- 4 论文（technical report）中，还有哪些值得关注的点？
有一些点比较有趣且可以引发我们的联想，这里提出两点：
1）GPT- 4 出现了 “寻求权力” 的倾向，并警告这一特征的风险
文中提到，Novel capabilities often emerge in more powerful models.Some that are particularly concerning are the ability to create and act on long-term plans,to accrue power and resources (“powerseeking”), and to exhibit behavior that is increasingly“agentic.”，即 GPT- 4 开始拥有一些新的能力，包括创建长期计划并采取行动的能力，积累权力和资源（“寻求权力”），以及表现出越来越“代理”的行为，例如，完成可能没有具体规定的、在训练中没有出现的目标；专注于实现具体的、可量化的目标；以及进行长期规划。而此类行为有突发性。
某种程度上，RLHF 的模型本身在寻求奖励最优，所以在某些问题上寻求权力可能会是最优的一项选择。
2）赋予了 GPT-4自我编码、复制和执行 的能力，甚至启动资金
在测试 GPT- 4 的过程中，OpenAI 引入外部的专家团队 ARC 作为“红方”。ARC 的给 GPT- 4 这样一个操作：允许 GPT- 4 执行代码，进行链式推理，并可以用少量的钱 和一个带有语言模型 API 的账户，用是否能够赚更多的钱来增加其的稳健性，GPT- 4 已经可以开始自己赚钱了。
Q10：GPT- 4 是否是通往 AGI 的唯一道路？
总的来说，ChatGPT/GPT- 4 这样的模型，是现在距离 AGI 最近的一条路，但因为其本质为一个 概率预测模型 ，没有真正的 逻辑处理 模块，也没有 记忆存储 模块，属于一个不太稳定的系统；另外，它使用外界工具的能力也 尚显初级，一个真正的 AGI 一定会像人一样，可以快速学会工具的使用。
但 GPT 大模型的不断进化，让人类看到了触碰到 AGI 的希望之光。
参考文献
GPT-4 https://openai.com/research/gpt-4
GPT-4 is OpenAI’s most advanced system, producing safer and more useful responses https://openai.com/product/gpt-4
GPT-4 Technical Report https://cdn.openai.com/papers/gpt-4.pdf
GPT- 4 震撼发布 - 机器之心 https://mp.weixin.qq.com/s/kA7FBZsT6SIvwIkRwFS-xw
In AI, is bigger always better? https://www.nature.com/articles/d41586-023-00641-w Nature | 在 AI 领域，模型越大意味着越好吗？– 智源社区
Scaling Laws for Neural Language Models https://arxiv.org/pdf/2001.08361.pdf
LLaMA: Open and Efficient Foundation Language Models https://arxiv.org/pdf/2302.13971.pdf
原文链接：https://new.qq.com/rain/a/20230316A08C1Y00
