1. GPT 全称是什么?
GPT 全称是 Generative Pre-trained Transformer。
2. GPT 是由谁研发的?
GPT 是由 OpenAI 的研究人员研发的。
3. GPT 的目的是什么?
GPT 的目的是通过无监督的预训练 obtain 语言理解能力, 然后应用于下游的 NLP 任务。
4. GPT 是什么类型的模型?
GPT 属于 transformer 模型家族, 是一种基于注意力机制的序列到序列学习模型。
5. GPT 使用的训练数据是什么?
GPT 使用了海量的互联网数据进行预训练, 包括维基百科, 新闻文本, 网络畅销书等。
6. GPT 的体系结构由哪些部分组成?
GPT 的体系结构主要由词嵌入层、位置编码层、多层注意力和前馈神经网络组成。
7. GPT 的预训练方式是什么?
GPT 使用了无监督的语言建模作为预训练任务, 目的是学习文本的表示和生成。
8. GPT 有哪些应用?
GPT 可以应用于机器翻译、文章生成、问题回答、文本摘要等下游任务。
9. GPT- 3 有什么改进?
与 GPT- 2 相比,GPT- 3 增加了更多的参数、更大的训练集、更长的上下文窗口等。
10. GPT- 3 的参数量有多大?
GPT- 3 的参数量达到了 175 亿, 是 GPT- 2 的 100 多倍。
11. GPT- 3 的训练数据有多大?
GPT- 3 使用了 570GB 的互联网数据进行预训练, 数据量大大提高。
12. GPT 对人工智能的影响是什么?
GPT 提出了无监督预训练 + 微调的方案, 对许多下游任务取得了 state-of-the-art 的效果, 对人工智能产生了巨大影响。
13. GPT 的缺点是什么?
GPT 缺乏语义理解能力, 生成的文本存在不连贯和不可解释性。
14. 如何评价 GPT 的性能?
可以通过语言建模的困难度、下游任务的性能以及人类评估来评价 GPT 的性能。
15. GPT 是否可以理解语义?
GPT 难以真正理解语义, 它更依赖于统计信息和上下文。
16. GPT 是否可以进行推理?
GPT 具有一定的推理能力, 但是由于缺乏语义理解, 其推理过程是不透明的。
17. GPT 的前景如何?
GPT 未来可以在更大的数据集和计算资源上进行预训练, 语言理解和生成能力还有待提高。
18. GPT 存在哪些限制?
GPT 的主要限制在于数据量和计算资源, 以及模型的语义理解能力不足。
19. GPT 是否适合生成长文本?
由于 GPT 的生成过程是自动回归的, 长文本生成的质量较差。
20. GPT 的创新点是什么?
GPT 的主要创新在于提出了大规模无监督预训练语言模型的方案, 实现了 NLP 多个下游任务的效果提升。
原文链接：https://blog.csdn.net/weixin_47964305/article/details/130444747
