GPT- 4 原论文详细解读（GPT-4 Technical Report）
1. 导读
相比之前的 GPT-3.5 等大型语言模型（这里可以看我的 InstructGPT 解读，也方便理解本文内容），GPT- 4 最大的不同在于变成了多模态，即输出不变的情况下，输入可以为图片或文本。其展现了优于 ChatGPT 模型并且非常强大的性能。读者可在 OpenAI 官网体验体验，不过网页端只提供了文本输入，图片输入的方式目前只支持 API。
2. 摘要和引言
GPT- 4 是一个多模态的大模型。它的基础结构仍然是 Transformer+ 预测下一个词的目标函数。
GPT- 4 在摘要中的说法是给出了一个预测模型性能的方法，使得只需要 0.1% 的训练计算资源，就可以预测模型的性能了。不需要训练到最后才得到模型性能，这有助于早期就调整好模型，减少不必要的训练成本。
GPT- 4 这篇工作目的是增强理解生成文本的能力，尤其在复杂且存在细微差异的场景。
GPT- 4 使用了很多人类的考试（例如，律师资格考试）和传统的 NLP 任务作为测试案例。
GPT- 4 仍然存在之前工作中的一些问题：1. 会瞎编，缺乏可靠性。2. 限制 25000 字。3. 无法从经验中学习。
3. 论文结构
- 第 3 节：本文的内容涉及范围
- 第 4 节：预测技术（预测模型性能相关技术，使得用少数的训练就能预测模型的性能），这部分本篇博客跳过
- 第 5 节：详细介绍 GPT- 4 的能力，实验
- 第 6 节：详细介绍 GPT- 4 的局限性
- 第 7 节：风险和因对方法
- 第 8 节：结论
- 参考文献
- 附录 23-98 页
4. 本文的内容涉及范围
- 不会给出具体的技术细节，包括模型结构，模型大小，硬件，训练成本，数据集，训练方法。
- 会给出一些初始的步骤和想法。
5.GPT- 4 的能力，实验
对于这部分实验，OpenAI 在 github 上开源了 评估框架。
模拟人类的考试
值得注意的是，这些考试的问题在模型训练的时候只会看到一部分相关的资料（例如律师考试不会有真题，但可能在训练集中有些相关法律书籍），这部分的实验展开的细节放在了附录 C。这些测试的真题都来源于公开的 available 的材料。题目包括选择题和论述题，OpenAI 对于这两种题目分别设计了 prompt，这些 prompt 包括图片。最后这个实验考试的打分方式和人类的考试一样。这部分的实验的细节放在了附录 A。
下表是实验结果，第一列是考试名称，包括律师考试、研究生入学考试、生物、化学、计算机。第 2 列是 GPT-4（带 vision 输入的）、GPT-4（不带 vision 输入的）、GPT-3.5（应该不是 ChatGPT，而是基础 GPT-3.5）。分别给出了分数（例如 298/400，分别是得分 / 总分）和排名（例如~90th，100 个人超过了 90% 的人）。
下图给出了图示化展示，可以清晰看出 GPT- 4 较不带 vision 和 baseline 的 GPT3.5 的差距。其中横坐标是考试名称，纵坐标是得分占总分的比。蓝色上方的绿色表示 GPT-4（不带 vision 模块）超过 GPT3.5 的性能部分。如果绿色上方有深绿色，则表示 GPT-4（带 vision 模块）超过 GPT-4（不带 vision 模块）的性能部分。如果蓝色上方无其他（例如最后一列），则表示 3 者无差异。
传统的 NLP 任务
为了让 GPT- 4 能理解实验问题什么的，OpenAI 进行了适当的预处理，包括“问题翻译”和给出 few-shot（细节见附录 F）。
实验结果如下，第一列是案例（例如 MMLU 是在 57 个学术和专业性学科的多项选择题）。最后两列是最先进的模型（有特定任务上的微调）。
下图给出了不同语音对 GPT- 4 性能的影响。
下图给出了 GPT- 4 图片输入时的例子。
看了下回答，没什么问题，感觉理解了图片内容，并结合了 LM 中的常识，具备了一定的认知水平，很强！
5.GPT- 4 的局限性
未完待续。
原文链接：https://blog.51cto.com/u_15718612/6163923
