十问十答:关于GPT-4,你想知道的都在这里

111次阅读

近三个月 ChatGPT 方兴未艾,OpenAI 趁势发布多模态预训练大模型 GPT-4,其能力的升级和应用的拓展又一次引爆国内外网络。本文将通过十问十答的形式,深入探讨 GPT- 4 的技术能力、特点及应用,带领读者一起揭开 GPT- 4 的神秘面纱。

作者:腾讯算法工程师 冉昱

前言

GPT- 4 作为 GPT 系列的最新模型,其整体实现逻辑与技术结构和 ChatGPT 类似,可以将其看做是拥有 更长上文 、能更好 理解复杂指令 、回答 更可靠 、更 风格化 、更 有创意 的图文版升级 ChatGPT,故本文未按照重头开始叙述的逻辑,在之前 ChatGPT 解构与思考逻辑之上,选取 GPT- 4 的关键的点作阐述,整理出 GPT- 4 核心的十个问题进行剖析。

Q1:GPT- 4 是什么?

GPT-4(Generative Pre-trained Transformer 4)是 OpenAI 发布的最新 GPT 系列模型,它是一个 大规模的多模态 模型,其可以接受 图像和文本输入 ,产生 文本输出 ,输出任务依旧是一个自回归的 单词预测 任务,这与外界之前的预期略微不同,预期中 GPT- 4 多模态会增加语音、图像、视频、文本多模态输入,输出可能也不局限于文字。

GPT 系列模型的整体情况如下图:

十问十答:关于GPT-4,你想知道的都在这里插图

整体来说,GPT- 4 的能力已在各种专业和学术基准上表现出了 人类的水平 ,包括以大约前 10% 的成绩通过模拟律师资格考试,而对于生成式的幻觉、安全问题均有 较大的改善;同时因对于图片模态的强大识别能力扩大了 GPT- 4 的应用范围。

Q2:GPT- 4 相比 ChatGPT 和其他 GPT 模型,效果层面有哪些显著的改进或新增能力?表现在哪些方面?

GPT- 4 毫无疑问是目前 最强的文本生成 模型,GPT 系列模型整体可以总结为下图:

十问十答:关于GPT-4,你想知道的都在这里插图1

GPT- 4 的改进具体表现在:

突破纯文字的模态,增加了图像模态的输入,具有 强大的图像理解能力

让人惊奇的是,GPT- 4 在 4 个场景下(4/8)零样本效果超过 fine-tuned 的 SOTA。

十问十答:关于GPT-4,你想知道的都在这里插图2

同时它可以解决各类 图文混合 的理解和生成问题,此处简单举两个例子,一个是根据图计算格鲁吉亚和西亚的日均肉消耗量:

十问十答:关于GPT-4,你想知道的都在这里插图3

一个是解决法语的物理问题:

十问十答:关于GPT-4,你想知道的都在这里插图4

可以看到 GPT- 4 在多语言理解、图文理解能力上均很强大并已 融会贯通

支持更长的上下文窗口

如之前外网泄露图中,GPT- 4 存在两个版本,其支持的上下文分别是 8K 和 32K,是 ChatGPT 上下文长度的 2 倍和 8 倍,其成本也分别为 ChatGPT 的 3 倍和 7 倍。

十问十答:关于GPT-4,你想知道的都在这里插图5

复杂任务处理能力大幅提升

GPT- 4 在更复杂、更细微的任务处理上,回答更可靠、更有创意,这在多类考试测验中以及与其他 LLM 的 benchmark 比较中得到。

GPT- 4 在不同年龄段不同类别考试中均名列前茅,平均位列人类头部的 10% 行列;比如律师职业资格考试前 10%,生物学奥赛前 1% 等,下图可以明显看到,两个版本的 GPT- 4 胜出率很高;

十问十答:关于GPT-4,你想知道的都在这里插图6

MMLU benchmark 上,碾压其他大模型

十问十答:关于GPT-4,你想知道的都在这里插图7

多语言能力强大,特别是小语种能力也很出色

十问十答:关于GPT-4,你想知道的都在这里插图8

改善幻觉、安全等局限性:

在各类任务上幻觉问题显著减轻,比最新的 GPT-3.5 模型高 40%:

十问十答:关于GPT-4,你想知道的都在这里插图9

同样在安全能力的升级上,GPT- 4 明显超出 ChatGPT 和 GPT3.5。

十问十答:关于GPT-4,你想知道的都在这里插图10

建立 LLM 测试标准

开源 OpenAI Evals,创建和运行基准测试的框架,核心思想是对 GPT- 4 等模型进行评估,并逐个样本检验性能,此举是可以让大家指出其模型中的缺点,以帮助 OpenAI 进一步改进模型。

预测模型扩展性

这一点之前涉及比较少,GPT- 4 在 1 /1000 的计算量上即实现了扩展性的预测,特别在 LLM 不适合广泛调参的情况下,用较小的模型提前预测训练行为和 loss,极大地提升了训练效率,降低了训练成本,增强了 LLM 训练的可控性。

特别对于 Inverse Scaling Prize 这个任务,此任务提出了模型性能随规模而下降的几个任务,而 GPT- 4 可以通过提前预测模型扩展性,从而在 Inverse Scaling Prize 上的 Hindsight Neglect 任务逆转这一趋势。

十问十答:关于GPT-4,你想知道的都在这里插图11

重新实现了整个深度学习栈,从头开始设计了一台超级计算机

OpenAI 和微软合作,在 Azure 重建了深度学习堆栈,从头设计了一台专用超级计算机;基础训练设施的改进和定制,使得更大参数量模型的训练成为可能;

风格可控

此处核心是通过“系统”自定 Prompt,让模型可以按照规定风格完成任务回复;整体思想比较简单,如下图需要 GPT- 4 回复均按照 json 形式:

十问十答:关于GPT-4,你想知道的都在这里插图12

Q3:GPT- 4 相较于之前的 GPT 系列模型,在训练方式、模型架构上有哪些创新和优化?

整体很黑盒,但可以做一些合理的推测;

首先,模型 参数量 估计约为 10 万到 100 万亿 量级,主要根据 OpenAI 2020 提出的大模型缩放规律:计算预算增加 10 倍,数据集大小应增加约 1.83 倍,模型大小应增加 5.48 倍。按照下图估计,最右处的灰点极有可能为 ChatGPT(GPT3.5 类模型),图中可以看出 GPT- 4 计算量约为 GPT3.5 的 1000 多倍,则模型容量约为 548 倍左右,1750 亿 x548≈100 万亿;

十问十答:关于GPT-4,你想知道的都在这里插图13

其次,GPT- 4 模型 训练架构 加入了图像模态的输入,应与最近微软发布的 KOSMOS- 1 类似,即在预训练阶段输入任意顺序的文本和图像,图像经过Vision Encoder 向量化,文本经过普通 transformer 向量化,两者组成多模的句向量,训练目标仍为 next-word generation。

再者,对于模型 训练数据 内容和数量,文中提及训练数据中额外增加了包含正误数学问题、强弱推理、矛盾一致陈述及各种意识形态的数据,数据量级同样根据 OpenAI 2020 的缩放率,训练 100 万亿的模型,数据量是 GPT3.5(45TB 数据)的 190 倍。

最后,GPT- 4 是从头训练还是在某些基座模型上得来暂时无从得知;可以确定的是,它增加了后训练过程,整个过程类似于做 Prompt Engineering,核心是让模型知道如何在相应场景下合适的回答问题。

Q4:相比 ChatGPT,GPT- 4 有哪些新的应用亮点和场景?

GPT- 4 在 增强了安全抵御、任务完成度和图片理解能力 后,在 ChatGPT 基础之上有更多亮点和应用场景:

发布视频中根据潦草的手绘制作类似布局类似的网页:

十问十答:关于GPT-4,你想知道的都在这里插图14

十问十答:关于GPT-4,你想知道的都在这里插图15

加入视觉模态后,可以扩充到的盲人应用(Be my eyes);强大的多语言能力帮助小语种语言的恢复(Iceland language preserve)、安全能力提升后的反欺诈(Stripe)等应用会应运而生:

十问十答:关于GPT-4,你想知道的都在这里插图16

十问十答:关于GPT-4,你想知道的都在这里插图17

在 AIGC 的版图上,建立以 GPT- 4 以及之后更多模态的大模型为基础,形成多模态 x 多场景(图来源:甲子光年)

十问十答:关于GPT-4,你想知道的都在这里插图18

Q5:GPT- 4 在生成过程中的逻辑性和准确性上有何改进?是否从根本上得到了解决?

GPT- 4 在生成逻辑性和准确性上 均取得了进展,需要注意的是,GPT- 4 基础模型在这项任务上只比 GPT-3.5 略好一点;然而经过 RLHF 的后训练后,效果才有了较大的改进,后训练整个过程类似于做 Prompt Engineering,核心是让模型知道如何在正确场景下做出合适的回答。

可以看到,GPT- 4 相比 GPT3.5 和 Anthropic 优势较明显,但绝对正确率只有 60% 左右,尚存在较多弊端,并没有从根本上解决这样的问题,也会是后续持续发展的方向。

十问十答:关于GPT-4,你想知道的都在这里插图19

Q6:GPT- 4 是否从根本上解决了安全问题,OpenAI 采用了哪些策略和技术?

GPT- 4 在安全问题上 收效显著 ,针对安全问题,GPT- 4 的主要解决思路是利用安全相关的 RLHF,在训练中加入 额外的安全奖励信号,奖励由 GPT-4 的 zero-shot 分类器提供,即文中提到的 RBRM(基于规则的奖励模型)方法,它是一系列零样本的 GPT-4 分类器;

具体来说,这些分类器接受三种输入:Prompt, Policy model 的输出以及可选的对输出的评估(人工编写)。利用这些不同安全等级的 prompt 进行训练:同时对 GPT- 4 在不安全回复拒绝回答的行为,以及在敏感领域做安全回答两个方面给予奖励,通过强化学习,最后显著改善安全能力,不安全内容下降 82%;敏感领域安全回答比率上升 29%;

和 ChatGPT RLHF 的方法类似,Alignment(对齐工作)在此处发挥了较大作用,同时未来也会有持续的发力空间,相比单纯累积模型参数量和数据量的“大力出奇迹”方式,其计算量相对较小。如下图,在 InstructGPT 文献中,加入 RLHF 的 1.3B 模型,在整体胜出率上,超出了 175B 的微调模型,节省了 100 倍的成本;

十问十答:关于GPT-4,你想知道的都在这里插图20

Q7:我们如何应对 ChatGPT/GPT- 4 的冲击?对技术人员、对行业影响是怎样的?

这个问题在 ChatGPT 出现之后便存在,GPT- 4 只是加剧了这样的担忧;对技术人员来说,需要在 研究命题、下游任务 方面做思考,NLP 很多单一子任务会随之消失,会引入新的研究命题:

如何精准提出需求;对 ChatGPT 进行“催眠”,Prompting Project;

如何更正错误:Neural Editing;

安全侦测 AI 生成,包括整个生成过程中的安全侦测和控制;

构建专有化模型,专用指令和 RLHF 发掘下游任务潜力;

Machine unleaning(学会忘记数据、隐私保护)等对于行业来说,不同层级公司,需要在不同 模块 寻找立足点,初步来看,初创企业适合入局中间层、数据平台和应用层,大厂适合入局算力、平台和基础层。

十问十答:关于GPT-4,你想知道的都在这里插图21 (图来源:甲子光年)

Q8:从 GPT- 4 可以看出未来 LLM 的哪些趋势?未来的研发方向和优化策略是什么?

闭源趋势 ,网友戏称 OpenAI 已沦为 Closed AI;毕竟从 GPT1 到 GPT-4,模型各类细节越来越闭源和黑盒,大模型战场的竞争因素决定了以 GPT- 4 为代表的 第一梯队模型 可能会越来越封闭,成为技术门槛;

更多模态、更多形态结合 ChatGPT 类模型:包括 Kosmos- 1 和具身智能 PaLM-E,同时从听、说、看、触等全方位结合,形成类似 真正智能体 的概念;

模型加速和降低成本 会是持续关注的方向,包括从训练、推理等多层面考量:

十问十答:关于GPT-4,你想知道的都在这里插图22

能力预测 是很重要的方向;即用小模型来预测广泛大模型的能力,极大减少试错成本,提升训练效率;

开源评测框架 对于 LLM 的评测具有重大意义,可以快速发现改进方向。

Q9:GPT- 4 论文(technical report)中,还有哪些值得关注的点?

有一些点比较有趣且可以引发我们的联想,这里提出两点:

1)GPT- 4 出现了 “寻求权力” 的倾向,并警告这一特征的风险

文中提到,Novel capabilities often emerge in more powerful models.Some that are particularly concerning are the ability to create and act on long-term plans,to accrue power and resources (“powerseeking”), and to exhibit behavior that is increasingly“agentic.”,即 GPT- 4 开始拥有一些新的能力,包括创建长期计划并采取行动的能力,积累权力和资源(“寻求权力”),以及表现出越来越“代理”的行为,例如,完成可能没有具体规定的、在训练中没有出现的目标;专注于实现具体的、可量化的目标;以及进行长期规划。而此类行为有突发性。

某种程度上,RLHF 的模型本身在寻求奖励最优,所以在某些问题上寻求权力可能会是最优的一项选择。

2)赋予了 GPT-4自我编码、复制和执行 的能力,甚至启动资金

在测试 GPT- 4 的过程中,OpenAI 引入外部的专家团队 ARC 作为“红方”。ARC 的给 GPT- 4 这样一个操作:允许 GPT- 4 执行代码,进行链式推理,并可以用少量的钱 和一个带有语言模型 API 的账户,用是否能够赚更多的钱来增加其的稳健性,GPT- 4 已经可以开始自己赚钱了。

Q10:GPT- 4 是否是通往 AGI 的唯一道路?

总的来说,ChatGPT/GPT- 4 这样的模型,是现在距离 AGI 最近的一条路,但因为其本质为一个 概率预测模型 ,没有真正的 逻辑处理 模块,也没有 记忆存储 模块,属于一个不太稳定的系统;另外,它使用外界工具的能力也 尚显初级,一个真正的 AGI 一定会像人一样,可以快速学会工具的使用。

但 GPT 大模型的不断进化,让人类看到了触碰到 AGI 的希望之光。

参考文献

GPT-4 https://openai.com/research/gpt-4

GPT-4 is OpenAI’s most advanced system, producing safer and more useful responses https://openai.com/product/gpt-4

GPT-4 Technical Report https://cdn.openai.com/papers/gpt-4.pdf

GPT- 4 震撼发布 - 机器之心 https://mp.weixin.qq.com/s/kA7FBZsT6SIvwIkRwFS-xw

In AI, is bigger always better? https://www.nature.com/articles/d41586-023-00641-w Nature | 在 AI 领域,模型越大意味着越好吗?– 智源社区

Scaling Laws for Neural Language Models https://arxiv.org/pdf/2001.08361.pdf

LLaMA: Open and Efficient Foundation Language Models https://arxiv.org/pdf/2302.13971.pdf

原文链接:https://new.qq.com/rain/a/20230316A08C1Y00

正文完
 
不知道
版权声明:本站原创文章,由 不知道 2023-07-29发表,共计5497字。
转载说明:声明:本站内容均来自互联网,归原创作者所有,如有侵权必删除。 本站文章皆由CC-4.0协议发布,如无来源则为原创,转载请注明出处。