1、到底 GPT 是什么东东?
2、从技术底层认知 GPT
3、从 GPT 发展历程看未来
4、gpt 能干啥? 已经发生的社会应用有哪些?
近期 chatGPT 在全球迅速成为人们讨论的售点 , 它的出现是革命性的技术进步 , 将来对我们的工作 , 生活会有重要的影响。
ChatGPT在推出约两个月后已经达成 1 亿用户的里程碑 , 破尽 Tiktok, 微信 Whatsapp 等应用程式的纪录。
思考了很久 , 是否要给大家讲一下专业术语层面的内容?
最后的答案是 , 需要;
原因是 , 虽然专业层面的内容有点晦涩难懂 , 但是 , 真的需要我们从最底层的知识、信息的角度认认真真的当一次小学生 , 认真的学习理解【G、P、T】, 进而让我们更加深的掌握它了!
所以 , 可能这次的分享 , 有点专业晦涩 , 若干月后 , 大家可能会感受到该分享的重要性!
目前的形势是 , 谁更加早一天了解 , 理解了这个工具 , 谁就有可能走在趋势里
那么 , 这个全球爆红的 ChatGPT 到底是什么呢? 可能给我们的世界带来什么影响呢?
一、chatGPT, 到底是什么?G、P、T 到底代表什么意思?
“GPT"代表“Generative Pre-trained Transformer",
其中 ,
"Generative指的是该模型可以生成新的内容
“Pre-trained则表示该模型可以在大型语料库中进行预训练 , 以便更好地理解人类语言。
“Transformer”则是指一种神经网络架构 , 它可以处理变长的序列数据 , 例如自然语言文本。
给大家拆解一下
【要点 1:Transformer]
ChatGPT是一个自然语言处理工具; 这个处理工具 , 使用了 Transformer 神经网 络架构 , 拥有语言理解和文本生成能力使得 ChatGT 具备上知天文下知地理 , 还能根据聊天的上下文进行互动的雌力 , 做 到与真正人类几乎无异的聊天场景进行交流。
解释一下 , 大家可以这样理解 gpt 可以把很多输入经过转换后再输出了 , 目前的主要输出形式虽然就是对话脚天 , 但是输出的内容思想 , 已经逐步的开始“拟人化”所以 , 这个要点 , 直接可以让 GPT 与我们生存的现实世界 , 社会 , 开始接轨了: 从某种角度上看 ,GPT 这样的转化能力 , 已经模仿我们人类大脑输出的某个等级了: 最直白的话 , 就是 ,GPT 已经开始掌握一定的“见人说人话”的程度了:
【要点 2:Pre-trained 预先训练】
很简单 ,GPT 已经开始为你提供个性化服务
打个比方 , 预训练就像你家里面请了一个阿姨 , 这个阿姨从保洁公司送到你家里面的时候 , 她其实已经过预训练了。(借用一下粥大的案例)
保洁公司已经教会她常规的服务内容 , 比如如何打扫卫生间 , 收拾厨房、擦玻璃等 基础家政工作 , 她都已经掌握了 , 她来了之后 , 你就不用再数这些基本的要求了甚至在她进入保洁公司之前 , 她曾经在上学的时候老师们已经对独完成了语言理解和表达的预训练
如果没有经过预训练呢? 比如保洁公司只负责招腾和输送 , 但不培训 , 那阿她到你家的时候 , 是啥也不会的 , 你要教她怎么打造卫生间 , 收拾属房、擦玻璃等 , 这就费劲了。如果学校也没有预训练过她 , 可能她正常的沟通都需要你教 , 这就更费劲
那么 , 预训练之后 , 有什么好处呢?
第一、已经具备基本技能和标准话动作
如上所述 , 而不再需要我们从头训练
第二、可以在标准化动作基础上 , 根据你的指令 , 进行个性化提升; 比如阿姨做保洁 , 清理纱窗时 , 常规就会使用一种清洁剂 , 但是你认为味道有些刺鼻 , 所以你可以给她指令 , 说家里有小宝宝 , 悦玥对于这个味道比较敏感 , 换一种味道小的清洁
如果你直接指令给她具体的洗洁精 , 那么下次她就会直接使用确认过的洗洁精了: 这就是预训练之后的【调教】环节
“调教 ", 行业术语叫 Fine-Tuning, 就是微调 ,
这个部分的意义重大 , 后面慢慢给大家分享 , 尤其是打造个人 IP, 与这个部分息息相关!
我的想象是 , 未来个性化可以通过 gpt 快速、批量生成了: 就是说 , 即使个性化 , 也可以高速生成
【要点 3:Generative, 意思是: 生成式的。】
ChatGPT的核心就是 , 我给你一个指令 , 你生成一个东西。无论它是生成图片 , 生成文字 , 它都是一种生成式的模型 , 或者说 , 它是一个补全式的模型 , 我给你开一个头 , 你帮我把句子给补全
二、GPT 的技术底层逻辑
ChatGPT的背后离不开大模型 , 大数据 , 大算力 , 其技术底座使用的是微调后的 GPT-3.5 系列模型 , 有若多达 1750 亿个模型参数 OpenAl 主要使用的公共肥虫数据集有着超过万亿单词的人类语言数据
ChatGPT受到关注的重要原因是引入新技术 RLHF(Reinforcement Learniingwith Human Feedback, 即基于人类反馈的强化学习。
RLHE解决了生成模型的一个核心问题即如何让人工智能模型的产出和人类的常识、认知、需求、价值观保持一致。这句话 , 非常重要!!!
意思是 ,GPT 可以 24 小时不停机的向我们人类学习知识一样学习 , 并且根据反馈强化学习 , 通过这样的学习 – 反馈 – 强化 – 再学习 – 反馈 – 强化 ……… , 不断循环 , 最后 , 这个模型 具备了与我们人类保持一致的【常识】。【认知】、【需求】、【价值观】
是的 , 大家没有看错 , 连价值观 , 也会像我们人类一样
那么 ,GPT 的技术缺点有哪些呢?
GPT的技术缺点是什么?
1) 需要大量的培训数据:ChatGPT 需要大量的培训数据才能发挥其强大的语言生成能力 , 这对于小规模的应用来说可能不切实际
2) 学习成本高: 使用 ChatGPT 需要一定的专业知识和技能 , 这使它在某些领域的应用可能受到限制。
3) 可能存在于偏见: 由于训练数据的来源和质量不一致 ,ChatGPT 可能存在于 一些偏见或视野中 , 这可峻对其他应用产 生影响面影响 ,
这样的缺点 , 尤其是 3、4, 就是大家在使用 gpt 的时候 , 会遇到 , 它提供的答案 , 你感觉有点不靠谱的原因
三、简要说一下 GPT 发展历程
1、2022 年 11 月 30 日 , 人工智能对话聊天机器人 ChatGPT 推出。
2、2022 年 12 月 5 日 ,OpenAl 创始人兼 CEO 山姆·阿尔特曼 (SamAltman) 表示 ChatGpT 用户数已突破了 100 万。然后大约 2 个月的时间 , 突破 1 亿用户
3、2023 年 2 月 2 日 , 微软官方公告表示旗下所有产品将全线整合 ChatGPT, 除此前宣布的搜索引擎必应、Office 外微软还将在云计算平台 Azure 中整合 ChatGPT,Azure 的 OpenAl 服务将允许开发者访问 A 模型
4、2023 年 3 月 24 日 ,OpenAl 公司上线了 ChatGPT 插件系统 , 不仅开放了订机票、点餐等第一方功能 , 而且使用最新的数据。ChatGPT 自己也推出了两款插件一个是 Web 浏览插件 , 一个是代码解释器 , 前者解决了 ChatGPT 没数据就胡说的毛病。
5、2023 年 4 月 5 日。据媒体报道 ChatGPT 已停止 Plus 付费 ,OpenAl 给出的理由是需求量太大。
四、已经产生的社会应用
先给大家看一个截图
截图是我下午刚刚给 GPT 输入指令 , 让它写的文章
第二张截图 , 我【调教】一下 gpt, 希望它在第一篇文章基础上 , 输出一篇 500 字的散文: 增加一个字数要求
大家感受到了吗?
在文字生成这个部分 gpt 已经可以部分的代替我的一些工作帮助我完成了
从目前的社会应用来看 , 已经出现了 , 包括但不限于
代码机器人、小说行生器、对话类搜索引擎、语伴、语音工作助手、对话虚拟人等应用
一项调查显示 , 截止 2023 年 1 月 , 美国 89% 的大学生都是用 ChatGT 做作业。
2023年 1 月 , 知情人士称 , 微软公司正计划推出新版必应搜索引整 , 使用聊天机器人 ChatGPT 背后的人工智能 (AI) 技术 1 月 , 巴黎政治大学 (Sciences Po) 宣布该校已向所有学生和教师发送电子邮件要求禁止使用
ChatGPT等一切基于 Al 的工具台在防止学术欺诈和制窃。ChatGPT 可根据提示生成几乎任何主题的原始文本 , 包括文章、论文、笑话甚至诗歌 , ChatGPT 的应用场景还包括 , 创作音乐、电视剧、童话故事、诗歌和歌词等。在某些测试情境下 ,ChatGPT 在教育考试 , 回答测试问题方面的表现 , 甚至优于【普通人类测试者】。
最后一句话 , 大家也没有看错 , 在部分”教育、考试、回答测试问题方面的表现 , 甚至优于【普通人类测试者】
原文链接:https://blog.csdn.net/m0_53433019/article/details/130473438