4万字告诉你ChatGPT到底是什么?(上)

185次阅读

文 | 星船知造 钱鸿生

编辑 | 唐晓园

序言及摘要:

作为星船知造“现代通信与智能网技术展望”系列栏目的第一辑,我们邀请星船知造的资深读者、通信行业教授级高级工程师钱鸿生博士为我们撰写了《ChatGPT 技术架构及中国人工智能未来发展趋势报告》。

报告正文共 3.8 万字,在介绍了 ChatGPT 的进化历程、主要内涵、底层技术架构与逻辑后,提出 ChatGPT 潜在的商业价值和对资本市场影响的风险管控警示。

并分析了算法和算力以及芯片技术,对我国人工智能 AI 发展的制约与影响,最后切入我国 AI 产业结构调整、建立 AI 法律保护与系统安全的视角,对发展我国人工智能产业提出一些前瞻性的趋势分析和研判。 我们将节选出报告中部分内容,在星船知造公众号分上、下两篇发布。

今天的上篇主要聚焦第一章《ChatGPT 的含义与 OpenAI 公司概况》中的“ChatGPT 的基本功能模块”;

4 万字告诉你 ChatGPT 到底是什么?(上)

第二章《ChatGPT 的内涵与底层技术架构》中的“ChatGPT 的 DALLE2 自然语言转换成像技术”、“人工智能 AI 芯片的重要意义”、“人工智能中的算力单位 pfs-day”等章节中的部分内容。

同时节选第三章《ChatGPT 的潜在商业价值与市场动态》中的“国内投资者和厂商对 ChatGPT 的反应”、“ChatGPT 可能影响的行业初探”等章节中部分内容。

ChatGPT 含义与 OpenAI 公司概况

ChatGPT 全称为“Chat Generative Pre-trained Transformer”,Chat 是聊天,GPT 是“生成型预训练变换模型”,可以翻译为“聊天生成预训练转换器”或简称“优化对话的语言模型”。

由美国人工智能公司 OpenAI 开发的 ChatGPT 两个月时间内用户已超 1 个亿。

作为一款建立在云计算、海量数据库、人工智能算法架构和深度神经网络基础之上开发的聊天机器人程序,ChatGPT 不像传统的搜索引擎一样复制、粘贴、拼凑网上已有的信息给你。它的回答是有逻辑的、生动的,有上下文关联的。

ChatGPT 聊天机器人目前支持几乎世界上所有的语言输入。有人说未来它会像《流浪地球》系列电影中的智能量子计算机 MOSS,不仅拥有超强算力,还有自我意识、自我迭代、自我更新的特点,最终演化出有思维的人工智能。

或许 MOSS 已经离我们不远了。

4 万字告诉你 ChatGPT 到底是什么?(上)

OpenAI 官网发布的 ChatGPT 系统界面

OpenAI 初期是从事人工智能研究的非营利化组织,公司初期宗旨和使命是确保通用人工智能 (Artificial General Intelligence,AGI) 在大多数具有经济价值的工作上超越人类。建造出安全的、符合共同利益的通用人工智能,也希望能预防人工智能的灾难性影响,推动人工智能技术发挥积极作用。

同时也针对谷歌在搜索引擎业务领域形成的垄断优势,利用人工智能技术展开全面对抗。

OpenAI 发展里程碑

2019 年 3 月:OpenAl 向资本市场开放,引入战略投资者微软公司,随后宣布从非营利性质过度到封顶营利性质,利润上限为任何投资的 100 倍。创立了 OpenAlLP 公司。

2019 年 7 月:微软向 OpenAI 注资 10 亿美金,并得到了 OpenAl 技术的商业化授权,将 OpenAl 公司开发产品与微软产品深度融合。

2020 年 6 月:OpenAI 宣布了 GPT- 3 语言模型,发布了第一个产品 OpenAl-API,从此 OpenAl 公司开始了正式商业运作。

2020 年 9 月:OpenAl 公司授权微软公司使用其 GPT- 3 模型,微软成为世界首个享用 OpenAl 公司人工智能产品 GPT- 3 的公司。

2021 年:微软再次对 OpenAI 投资,双方合作关系正式进入第二阶段,微软拥有 OpenAI 新技术商业化授权,同时将 OpenAI 工具与自有产品再次进行深度集成,并推出相应产品。

2022 年 12 月:OpenAI 在微软资助下,发布了人工智能模型,开发出了最新款人工智能产品,取名为 ChatGPT。2 个月后,ChatGPT 的全球活跃用户突破了 1 亿。

2023 年 2 月 2 日:OpenAI 宣布推出 ChatGPT Plus 订阅服务,可以让用户在高峰期优先使用人工智能聊天机器人 ChatGPT。

OpenAl 还有两个不为人知的小故事。其一关于马斯克与 OpenAI 的历史渊源。

马斯克实际上是 OpenAI 创始人之一。2015 年马斯克联合 LinkedIn 创始人、Y Combinator 总裁及 PayPal 创始人等共同宣布创立 OpenAI 公司,目标说是打造属于全人类的、开放的 AI 组织,其定位是非营利性的,不过在 2018 年马斯克突然离开 OpenAI。

外界传闻有两个版本:

一是特斯拉公司也在研究 AI,与 OpenAI 在研发方向上有冲突,马斯克因此退出了董事会,但继续担任了 OpenAI 公司的顾问。

二是马斯克挖走了当时刚从斯坦福大学博士毕业后加入 OpenAI 的天才少年安德烈,安德烈的研究方向为计算机视觉,主攻图像识别和理解,当时马斯克的特斯拉也需要这样的人才。于是马斯克请这位安德烈去解决特斯拉的问题,为此 OpenAI 公司一气之下把马斯克“踢”出董事会。

其二关于安德烈。出生于捷克斯洛伐克的安德烈全名安德烈·卡帕斯(Andrej Karpathy),作为 ChatGPT 发展中的重要人物,是位“85 后”。29 岁时在斯坦福大学拿到博士学位。读博期间,他两次到谷歌公司做毕业实习。

博士毕业后,安德烈 2016 年加入了当时刚成立一年的 OpenAI,是 OpenAI 创始团队的成员之一,只不过工作一年多后,就被马斯克挖到特斯拉去了。

他被马斯克迅速提升,接管了整个人工智能开发团队的软件部分,并和负责硬件的 Pete Bannon 携手主导了特斯拉车控智能软件开发。在此之后,他还接管了擎天柱人形机器人、特斯拉超算系统 Dojo 的开发,可以说是马斯克手下最为重要的人工智能领军人物。

4 万字告诉你 ChatGPT 到底是什么?(上)

特斯拉人形机器人 图源:Tesla 官网

2022 年 7 月安德烈突然离开特斯拉,回归 OpenAI。

安德烈在自己的推特账号上轻描淡写说道:“我和许多其他人一样,不管是处于 AI 圈的还是非 AI 圈,都被 OpenAI 的成果鼓舞感动了。我相信这家公司未来的潜力非常大,因此很高兴重新投入到其中来。”

OpenAI 很多人对安德烈 7 年后重新回到公司充满了期待,给予他“让 CharGPT 再次伟大(Make ChatGPT Great Again)”的厚望。

无论何时,在 AI 人工智能领域的人才争夺都是如此激烈。

1.2.ChatGPT 主要功能

OpenAI 官网上说:我们已经训练了一个名为 ChatGPT 的优化对话的语言模型,它以对话方式进行交互。

对话形式使 ChatGPT 能够回答后续问题、承认错误、挑战不正确的前提并拒绝不适当的请求。ChatGPT 经过训练以遵循提示中的指令并提供详细响应。

和曾经的人工智能是“让计算机在固定场景下干固定的事”这个范畴不同,ChatGPT 面对的是一个“open world”。全球目前上亿用户向它提问的问题是不可预知的。这恰恰是 AI 开发的难点。

ChatGPT 目前系统功能主要是文本生成、聊天机器人、语言问答、语言翻译、自动文摘、绘画功能、编程功能、视频生成等八大功能模块所组成。如下图所示:

4 万字告诉你 ChatGPT 到底是什么?(上)

星船知造为您逐一稍作展开——

1.2.1 文本生成

ChatGPT 的文本生成功能可根据人们的提问,生成可读的各种文本。文本生成功能通常用于生成新闻、博客、报告等内容。也可用于生成代码、诗歌、小说等各种不同类型文本。

下图为星船知造编辑部让 ChatGPT 写一篇“关于中国充电桩各主要生产厂商前景”的报道,然后,它写到一半卡住了

4 万字告诉你 ChatGPT 到底是什么?(上)

1.2.2 聊天机器人

ChatGPT 大型语言模型可以实时回答人们提出的各种问题,ChatGPT 可以记住你之前跟它说话的过程与内容。

ChatGPT 聊天机器人具有一定的记忆和思维判断功能,能根据对话内容,前后呼应且有一定的语言逻辑推演能力,这也是 ChatGPT 聊天机器人区别于之前一些人工语言处理系统完全不一样的地方。

4 万字告诉你 ChatGPT 到底是什么?(上)

1.2.3 语言问答

ChatGPT 的语言问答系统是应用人类语言处理技术,通过识别用户问题并匹配相应答案来回答问题。它通过对大量数据学习和深度分析,以及对语言和语法的深入了解,帮助用户快速找到所需的信息。

ChatGPT 问答系统适用于售后服务与话务员应答、医疗咨询和教育等场景。可 24 小时连续不断地提供服务。

1.2.4 语言翻译

ChatGPT 的语音翻译是利用人工智能技术,将各国不同的文字和语言进行相互转换,可直接把文字转换成不同的语言。它通过使用计算机算法和语音数据库来生成语音合成,可用于语音导航、机器人语音交互、同声翻译、语音自动识别等应用。

1.2.5 自动文摘

ChatGPT 的自动文摘是一种利用人工智能技术,针对大量文本和视频内容进行简化、概括的技术。它通常采用机器学习和自然语言处理方法,识别文本中的关键信息,生成简明、准确的摘要。

可在一次会议后马上整理出会议纪要,或对长达 2 个小时的电话视频做出一份 10 分钟的会议摘要。自动文摘可以缩短文本阅读时间和视频阅读时间,提高编写会议的效率,帮助用户快速了解文本内容。它在新闻、科技、商业等领域都有应用。

1.2.6 绘画功能

用户可以在 ChatGPT 中写一段有关画作的文字描述,描述你想要画出的图片或影像要求。也可以借助 ChatGPT 的提示,使系统更详细地了解你所要描绘的作品。对于产品广告设计和期刊书籍的插画是方便的工具。使用者不需要专业绘画技术的积累。

1.2.7 编程功能

大多数开发场景中,特别是用户需求相对固定的场合,ChatGPT 可以用来编写代码,检查代码语义的准确性,改进和简化人们的编程工作。

ChatGPT 还可以帮助我们提高自己编程代码的质量和可读性,通过你提出的要求,它会逐行添加注释,可以确保代码在发布前得到正确记录,并使其他人更容易理解和使用代码。可提高代码可读性、可维护性和与他人协作的能力。

ChatGPT 其实还有很多功能正在被开发与完善之中,有人把目前 ChatGPT- 3 提供的功能细分为 8 大类 60 项功能,在此我们就不一一赘述了。

1.2.8 视频生成

向 ChatGPT 提问对某一个产品或一个事件的描述,ChatGPT 会送出一份文档,你可以对文档稍作修改,要求 ChatGPT 直接将文档转换成视频。

除此之外,ChatGPT 可以被用于智能助手,智能客服等领域。

总之,ChatGPT 的出现,为人工智能技术的发展带来了新的思路和技术支持,在数据处理、自然语言处理以及其他领域的应用前景广阔。

ChatGPT 的内涵与底层技术架构

有人把 ChatGPT 理解为一个简单的搜索引擎功能,认为其工作原理就是把 2022 年以前网络中已有的数据,加工整理后推送给客户。人们认为 ChatGPT 只要建立一个足够大的数据存储空间,把所有的信息存放在里面,然后进行检索,就可以实现文本问答和聊天机器人功能了。

其实 ChatGPT 的工作原理并不是那么简单,比一般人理解的程度要复杂很多,这里面涉及生成性预训练变换模型和很多关键核心技术和底层逻辑。

2.1 ChatGPT 生成性预训练变换模型

前文我们在介绍 ChatGPT 的含义时已经介绍过,ChatGPT 的全称为“Chat Generative Pre-trained Transformer”,翻译成中文就是生成型预训练变换模型。在此之前,一般所谓的人工智能、机器学习、聊天对话软件在很大程度上都是局限于观察、分析和内容分类以及图像识别。

而以 ChatGPT 为代表的生成性人工智能 AI 是一项技术上的突破,它可以生成新内容,而不仅限于分析现有的数据。它的技术核心是生成性的人工智能。

从 ChatGPT 字面上来看,Chat 是聊天的意思,但 GPT 才是关键。

第一个字母 G 是 Generative,属于生成性的人工智能,在这以前的人工智能都局限在观察分析现有内容,但这次 ChatGPT 是个突破,它可以根据我们的需要,创造生成全新的内容。

第二个字母 P 是 Pre-trained 的缩写,预训练的意思。表示这个模型已经在某些有限的数据集上进行了预训练,ChatGPT 在与人的对话中几乎接近正常人的交流,就是因为它已经接受过海量数据的训练,而这些数据就是我们人类 2022 年以前发布在互联网上的内容(目前版本的 ChatGPT 还不具备网络数据实时更新功能)。

由于 ChatGPT 目前还没有实现网络的实时连接,因此回答问题的时效性受到一定的限制。

ChatGPT 在正式发布前,已经进行了大量的监督学习和通过人类反馈强化学习,所以我们在使用它的时候,这个模型能准确快速地生成对话内容。

第三个字母是 Transformer,翻译过来就是转换器,这是 ChatGPT 底层人工智能学习的一个算法架构。

ChatGPT 严格意义上来说就是一种基于 Transformer 的自然语言处理模型。采用了预训练加微调的方法,通过对大规模语料库进行预训练,对标注数据进行微调,从而使模型能够适应特定的自然语言处理任务,拥有语言理解和文本生成能力。

2.1.1 ChatGPT 的演进过程

第一阶段:GPT- 1 发布

2018 年 6 月,OpenAl 第一篇论文《Improving Language Understanding by Generative Pre-Training》通过生成式预训练来提高语言理解能力的论文中提出了第一个模型 GPT-1。从这篇论文中得出的关键结论是,Transformer 架构与无监督预训练的结合产生了 GPT-1,加上有监督微调方式,针对特定任务进行预训练,实现了强大自然语言理解能力。

第二阶段:GPT- 2 发布

2019 年 2 月,OpenAI 发表了第二篇论文《Language Models are Unsupervised Multitask Learners》,推出了 GPT-2。GPT- 2 是一种自然语言生成模型,其设计目标是生成与人类语言相似的文本,可以完成多任务处理。

第三阶段:GPT- 3 发布

2020 年 5 月,OpenAI 发表第三篇论文《Language Models are Few-Shot Learners》,推出了 GPT-3。GPT- 2 和 GPT- 3 是两个不同的模型,它们的主要区别在于应用场景、模型规模和性能表现。GPT- 3 是一种自然语言生成模型,它是目前规模最大的预训练模型,可以生成高质量的自然语言文本,包括文章、诗歌、对话等。GPT- 3 还支持一些其他的自然语言任务,例如翻译、问答、语义搜索等。

第四阶段:GPT-3.5 发布

2022 年 11 月 29 日,OpenAI 发布了一个命名为“text-davinci-003”(文本-达芬奇 -003 常称为 GPT3.5)的新模型。它以对话方式进行交互,既能够做到回答问题,也能承认错误、质疑不正确的前提以及拒绝不恰当的请求。

2.1.2 ChatGPT 的预训练加微调

所谓的 ChatGPT 预训练,是一个基于 transform 模型的预训练语言模型,它的训练逻辑如下:

第一是语料准备,从互联网上收集大量文本语料。如新闻、书籍、论坛,其中维基百科是它的一个重要数据来源。维基百科是用多种语言编写而成的网络百科全书。

然后是对数据预处理,对语料进行处理,把它们分割成许多独立的句子或段落,对每个句子进行分词。分词后把每个单词转换成数字,生成一个数字序列,然后构建成数字词典。

训练就是使用这些数字序列用 transformer 模型进行模拟场景试验,需要投入大量的人工干预,并使用监督学习的方式对预训练模型进行微调。根据奖励模型优化策略,然后生成输出,ChatGPT 的预训练绕不开正向传递,反向更新,梯度收敛,预训练模型降低了获取更高水平人工智能的成本。

由于至今 OpenAI 没有公开 ChatGPT 相关预训练数据集来源和具体细节,一定程度上阻碍了追赶者的步伐。

2.1.3 ChatGPT 的 Transformer 转换器

ChatGPT 的核心技术之一是 Transformer 转换器,Transformer 技术是近几年人工智能技术最大的亮点之一,由谷歌的人工智能的团队“谷歌大脑”首先发布。

这种模型是使用一种叫自注意力的机制(self attention mechanism),它允许模型在进行预测的时候,可根据语言序列的任何位置,为输入数据的不同部分赋予不同的权重,并支持处理更大的数据集。

Transformer 的精度和性能上都比之前流行的 CNN(卷积神经网络)、RNN(循环神经网络)等模型,大幅提升了模型训练的效果,让人工智能在更大模型、更多数据、更强算力的基础上进一步增强运算能力。此外,还具有很强的跨模态处理能力,不仅在 NLP(自然语言理解)领域表现优异,在语音、图像方面也显示出了优异的性能。

Transformer 是 ChatGPT 语言模型的核心技术,是一种用于序列到序列(Sequence-to-Sequence)任务的神经网络模型,例如机器翻译,语音识别和生成对话等,它使用了注意力机制来计算输入序列和输出序列之间的关系。如下图所示

4 万字告诉你 ChatGPT 到底是什么?(上)

制图:星船知造

Transformer 的主要优点是它可以并行地处理输入序列中的所有信息,因此在训练和推理时都有很高效率。

此外,Transformer 没有使用循环结构,因此它不受长序列的影响,并且在处理长序列时不会出现梯度消失或爆炸的问题。

2.2 ChatGPT 人类反馈优化语言模型(RLHF)

ChatGPT 面对多样化的问题对答如流,已经打破了机器和人类沟通的边界,这一工作的背后是大型语言模型 (Large Language Model,LLM) 生成领域的新训练范式 RLHF (Reinforcement Learning from Human Feedback),即依据人类反馈的强化学习方法模型。

OpenAI 官网上如是说:我们使用依据人类反馈的强化学习方法模型(RLHF)来实施训练,使用监督微调训练一个初始模型与人类人工智能训练师提供对话,他们在其中扮演用户和人工智能助手。我们让培训师可以访问模型编写的建议,以帮助他们撰写答案。

为了创建强化学习的奖励模型,我们需要收集比较数据,其中包括两个或多个按质量排名的模型响应。为了收集这些数据,我们进行了人工智能培训师与聊天机器人的对话。我们随机选择了一个模型编写的消息,抽样了几个替代完成,并让 AI 培训师对它们进行排名。使用这些奖励模型,我们可以使用近端策略优化来微调模型,我们执行了此过程的多次迭代。

4 万字告诉你 ChatGPT 到底是什么?(上)

ChatGPT 强化学习算法训练奖励模型简单来说就是分为三个阶段:

第一阶段是收集示范数据,人工智能培训师与聊天机器人对话,并接受监督。

第二阶段是收集比较数据,训练一个奖励模型。

第三阶段是利用 PPO 强化学习算法,优化一个针对奖励模型的策略。

2.5 ChatGPT 的 DALL.E 2 自然语言转换成像技术

根据 OpenAI 官网上的介绍,ChatGPT 中的 DALL.E 2 自然语言转换成像技术,最初只是一个研究项目,目标是制定并继续改进安全缓解的措施,其中包括:

第一、限制 DALL·E 2 自然语言转换成影像时生成暴力、仇恨或成人图像。通过从训练数据中删除有害的视频内容、使用先进的技术来防止真实人物的面部,包括公众知名人物的面部在视频中出现。

第二、遏制用户滥用政策。不允许文本要求生成暴力、成人或政治内容等视频。如果我们的过滤器发现可能违反我们政策的文本提示和图片上传,ChatGPT 就会采用自动化和人工监控系统予以拒绝。

OpenAI 认为:负责任的开发和安全监管是人工智能的重要组成部分,让用户对 ChatGPT 安全系统有信心。

OpenAI 希望 DALL.E 2 自然语言转换成像技术能降低图像生成模型相关的风险。为此,DALL.E 2 在互联网上数亿张带标题的图像上进行训练,删除并重新加权其中一些图像,更改模型学习的内容。

同时,采用在 DALL.E 2 中设置各种防护栏训练数据集,过滤训练数据,放大偏差、重复数据删除等多种技术手段,以防止生成的图像违反内容管制政策。使人们能够创造性地表达自己,帮助人们了解 ChatGPT 人工智能系统如何看待和理解我们的世界,对于创造人类的人工智能使命至关重要。

2.6 ChatGPT 软件是否能开源?

OpenAI 不开放,是人工智能业界很多人诟病的话题。软件开源是多年来互联网产业之所以能蓬勃发展的驱动力之一。

软件开源方式可以调动全世界软件开发者的积极性,每个人都可以下载源代码,并可进行优化和社区分享,也可以及时发现软件系统中的缺陷,提醒厂商予以改进完善。

这种用全社会的力量来创新的机制,大幅加速了新技术的发展和产业应用的进程。

据 OpenAI 公司证实,目前 ChatGPT 尚未开源,目前是作为 API(应用程序编程接口)调用的方式提供联网服务,暂时没有开源的计划时间表,甚至不排除未来很长一段时间内不会考虑软件开源的问题。

关于 ChatGPT 为何不开源,业内也有一些专家表示理解,因为人工智能技术至今为止没有一家厂商的软件是开源的,基本上都是一个“黑盒子”,关于其内部的运行机制外界很难了解。

如果软件代码开源,很难避免有人会利用人工智能创造出一些不利于社会和人类的内容,因此人工智能软件代码不开源,可能也是出于系统安全性方面的考虑。

此外,自从 Open AI 公司放弃了非营利组织的定位,接受微软等企业投资后,从商业化的角度考虑,也会采取软件和模型代码不开源的措施,保护商业利益和投资。

而采用开放应用接口的方式来加以推广,日后不排除对应用接口部分开源少部分模型,丰富开发者的生态环境,有利于与 ChatGPT 与其他系统或终端的互联互通,加快人工智能产业的应用进程。

ChatGPT 人工智能研究中心及其首席执行官萨姆·奥尔特曼在接受美国《福布斯》双周刊记者采访时,在记者问及关于软件开源问题的追问时说道:

“我认为实现这一目标的最重要方式是推出像 ChatGPT 这样的 AI 平台,除此之外,我们希望提供日益强大的应用软件接口(API),同时能够让它们更加安全。我们将继续开源,就像我们开源了 CLIP(2021 年发布的视觉神经网络),引发图像生成领域实现软件开源。

我们开源了 Whisper 和 Triton(自动语音识别系统和编程语言)。所以我相信这是一个多管齐下的策略,一方面要拿出好的东西,另一方面要平衡每样特定东西带来的风险和收益。”

上述或可佐证 Open AI 可能在应用接口部分开源少部分模型,丰富开发者生态环境的意图。

2.7 人工智能 AI 芯片的重要意义

在人工智能领域,包括人们日常生活中使用的智能手机,智能驾驶汽车等领域要完成运算都是与图像识别、语音识别、自然语言处理有关。

底层最常用的就是卷积神经网络,也就是数学中的矩阵运算和优化处理,一般来说 CPU 主要适合常用的数学计算。对于矩阵运算,专用的 AI 人工智能芯片就比较合适了。所以在这特定的情况下,AI 芯片应运而生了。

不同厂商对 AI 芯片有不同的称呼,有的称为 NPU 神经网络处理器。谷歌叫 TPU 张量(矩阵)处理器,美国超威半导体公司(AMD)叫 APU 加速处理器。苹果叫仿生芯片,市场营销的意味更多一些,而一般都统称为 AI 芯片或叫人工智能芯片。

人工智能芯片可视为 CPU 的一部分,作为单独的加速芯片,它其实是从显示芯片 GPU 发展而来的。

早期的 GPU 多用于 2D 和 3D 图形处理和计算,市场上则主要针对游戏领域。

当下是算力时代,人工智能、深度神经网络、数据分析、可视化、互联网算法、生成性与训练、运算服务器、智能汽车、移动设备等,都离不开算力支撑。

从全球整体市场情况来看,目前全球 GPU 市场形成多寡头竞争格局,其中包括英特尔、英伟达和 AMD、苹果、谷歌、华为、阿里巴巴、腾讯、寒武纪也相继开发出了人工智能芯片。

英伟达和 AMD 的芯片都是由台积电代工的,台积电在芯片包括 AI 芯片加工市场占据重要的地位。

2.8 人工智能中的算力单位 pfs-day(petaflop/s-day)

随着人工智能尤其是强化学习算法和预训练技术的飞速发展,人工智能 AI 模型的算力正在以超高的速度发展。特别在自然语言处理领域的增长十分迅速。

OpenAI 的 GPT- 3 大型神经网络有 1750 亿个参数,而且模型越做越大,短期看来是一个技术趋势。

这样大的模型对于训练算力的消耗是惊人的,人们用一个新的单位来衡量算力,即 petaflops/s-day,或者缩写成 pfs-day。

OpenAI 定义神经网络中的每一次乘法或一次加法为一个操作,如果每秒钟可以进行 1015 方运算,也就是 1 peta flops,那么一天就可以进行约 1020 的运算,这个算力消耗被称为 1 个 petaflop/s-day。

OpenAI 透露:曾训练过一个强化学习模型 OpenAI Five,使用该系统在 2019 年战胜了 DOTA 游戏职业游戏战队,该模型训练量达到 800 pfs-day。

OpenAI 用了 256 个英伟达的 GPU 和 12.8 万个 CPU 核心芯片,预训练整整持续了 10 个月时间。OpenAI Five 的总预训练量相当于打了 45000 年 Dota 游戏,每天的训练量大概相当于人类打 180 年游戏。

根据 OpenAI 的最新研究,从 2012 年以来,最大的 AI 训练对于算力的消耗已经增长了 30 万倍,平均每 100 天就翻倍,算力是人工智能发展的技术保障,是人工智能发展的动力和引擎。这个速度已经大大超越了两年翻倍的摩尔定律。

2020 年 5 月,OpenAI 发表了一篇由多位作者撰写的论文:Language Models are Few-Shot Learners(语言模型是小样本学习者)。其中提到 ChatGPT- 3 中有多达 1750 亿个参数、数据集 45TB,训练花了 3640pfs-day,语言模型训练一次的费用保守估计是 460 万美元,模块总训练成本估计达到了 1200 万美元。

由此可见在人工智能领域的资金投入以及对计算机的算力要求是如此之高,远超人们的想象力。

ChatGPT 潜在商业价值与市场动态

ChatGPT 在系统可靠性、准确性方面还有待改进的空间。人工智能项目当前大多数仍然处于研发和巨大投入阶段,势必还要花费大量的金钱以及资源来实现。

人工智能项目想要持续发展,需要找到适合其自身发展的商业模式。同时由于 ChatGPT 的突然出现,对于全球的人工智能发展应该说起到了一定的推进作用,新技术的横空出世,当然会促进社会的变革以及带来社会生产力的发展新机遇,同时也一定会伴随着产业的动荡、重组和融合,以此来重新调整社会生产关系,满足先进生产力发展的需要。

3.1 全球市场对 ChatGPT 的客观评价(节选)

3.1.2 国外学者大咖对 ChatGPT 的客观评价

1. 世界首富比尔·盖茨在接受专访时表示;“ChatGPT 以及 AI 领域的进展令人激动,AI 将是 2023 年最热门的话题。ChatGPT 与互联网的发明一样重要,堪称划时代应用”。

2. 马斯克也是 OpenAI 的联合创始人之一,曾在推特上表示:“ChatGPT 好得吓人,我们离强大到危险的人工智能不远了”。话语中既有赞许,又对人工智能发展没有建立可靠的安全监管机制,存有危机感。

3. 微软 CEO 萨提亚·纳德拉(Satya Nadella)表示:“AI 将从根本上改变所有软件,并从搜索这个最大的类别开始。这是搜索的新一天,比赛从今天开始”。

4. OpenAI 首席执行官萨姆·奥尔特曼萨姆·奥尔特表示:“这绝对是一个激动人心的时刻,但我希望这只是刚刚开始。事实上,这将是一条技术发展及其对社会产生的积极影响,不断呈几何级数增长的道路”。

5. OpenAI 首席技术官米拉·穆拉蒂(Mira Murati)在接受《时代周刊》采访时表示:“ChatGPT 有可能真正彻底改变人类的学习方式,具有进行个性化教育的巨大潜力”。

6. 欧盟委员会分管市场(工业)委员蒂埃里·布雷顿(Thierry Breton)日前表示:“欧盟委员会正在起草一项新的人工智能法规,新拟议的人工智能法规将围绕 ChatGPT 聊天机器人和人工智能技术风险,讨论解决方案”。

3.1.3 国内学者对 ChatGPT 的客观评价

1. 传播内容认知全国重点实验室首席科学家张勇东表示:“ChatGPT 的出现,是人工智能技术发展的一次飞跃。其在交互和创作方面展现的出色能力,标志人工智能由决策式向生成式转变”。

2. 中国信通院云计算与大数据研究所科技部副主任石霖认为:“ChatGPT 的技术基于 OpenAI 开发的 GPT3.5 系列模型,该模型参数规模据推测达十亿级别,加之在训练过程中引入人类反馈机制技术,使得 ChatGPT 在回答准确率、道德表现上进一步得到提升”。

3. 中国工程院院士邬贺铨认为:“现在完全没有必要为 ChatGPT 的出现而担忧,它的出现是一种技术进步,ChatGPT 可以帮助人类做一些资料整理等基础工作,但是它不可能代替人类思考”。

4. 华东师大传播学院院长王峰认为:“ChatGPT 带来巨大机遇与挑战,它可以和元宇宙建设结合起来,一旦 ChatGPT 这样的人工智能应用成熟,这标志着在人类语言反应中,人工智能开始占据优势,会对人类生活造成更深刻的影响”。

3.1.4 国外投资者和厂商对 ChatGPT 的反应

路透社报道称:“谷歌母公司宣布将推出名为‘Bard’的 AI 人工智能聊天机器人服务以及更多的人工智能项目,以应对竞争对手微软所引领的新计算浪潮”。

早在 2019 年,微软就向 ChatGPT 的所有者 OpenAI 公司多次注资,此番 ChatGPT-3.5 的成功发布,也让业界联想不断,接下来微软可能会砸下更多筹码,甚至将 OpenAI 和 ChatGPT 一起收购。

没让人们等待太久,微软就给出了答案:再次向 OpenAI 投资 100 亿美元。据消息人士说,早在去年 10 月微软就开始了就追加投资一事与 OpenAI 谈判。

现在这笔资金最终敲定,包括新的投资在内,微软将获得 OpenAI 的 49% 股权,OpenAI 的估值将达到 290 亿美元,微软将每年获得 OpenAI 的 75% 利润,直到收回投资为止。

因此,这次 ChatGPT 的成功,最大的赢家无疑就是微软。

3.1.4 国内部分投资者和厂商对 ChatGPT 的反应

1. 百度公司正在进行类似 ChatGPT 产品的上线冲刺,该项目名字确定为“文心一言”英文名“ERNIE Bot”。百度“文心一言”是百度基于“文心大模型”技术推出的生成式对话产品。

百度在人工智能四层架构中,有全栈布局。其中包括底层的 AI 芯片、深度学习框架、大模型以及最上层的搜索等应用。项目将于 2023 年 3 月份完成内测,并面向公众开放。

2. 腾讯申请“人机对话方法、装置、设备及计算机可读存储介质”专利,该专利产品可实现人机顺畅沟通。

3. 阿里巴巴达摩院(杭州)科技有限公司申请了“人机对话及预训练语言模型训练方法、系统及电子设备”专利,可提升问答交互的准确性。

3.2 ChatGPT 可能影响的行业初探

人们普遍认为,采用 AI 技术的 ChatGPT 发展和应用可能会影响许多职业,特别是一些重复性较高的工作。例如,一些简单的办公室文秘工作、数据处理,以及人工客服可能会被自动化和人工智能代替。

需要高度创造力和人类技能的职业,如医生、律师、艺术家、软件架构师等,则不太可能受其影响。

ChatGPT 可以为人们提供有价值的信息和帮助,因此也可能为相关职业带来新的机会。

ChatGPT 作为一种领先的聊天机器人技术,已经被广泛应用于多个领域,下面就浅析基于人工智能的 ChatGPT 可能会对我国哪些行业带来变革和影响。

3.2.1 客服行业

人工智能技术可以提供智能客服服务,通过自然语言处理和机器学习技术,为用户提供快速、准确的答案和解决方案,从而减轻人力成本压力。它可以提供比人工客服更全面,更快更准确的客服服务,从而提高客户满意度。主要体现在以下几个方面:

1. 提高服务质量

ChatGPT 是一种机器人作为客服服务系统,它能够实时对接客户的需求,并根据客户的问题准确回答,出错率较低,解决方案更全面,可以更快准确满足客户的需求,从而提高客服服务的质量。

2. 提高客服效率

ChatGPT 可减少人工客服的工作量,AI 系统能够快速地找到解决方案,不用客服人员花时间查找。人工客服可将更多的时间集中在更复杂问题的处理上,把更多的精力放在为弱势群体或无法准确使用 AI 系统的人提供人工应答服务。

3. 提高客服满意度

ChatGPT 可以让客户获得更好的服务体验。它可以更快地提供准确的答案,AI 系统可以让客户感受到比人工服务更好地无缝交流,让用户获得更加满意的结果。

4. 降低客服成本

ChatGPT 可以帮助客服节省时间,减少客服人员,降低人工成本。

5. 提升客服系统的管理水平

ChatGPT 可以提高客服平台的管理水平,可以根据用户的使用反馈,自动按需生成各类管理报表,为后台管理人员提升服务质量提供数据支撑。

3.2.2 教育行业

人工智能技术可以用于教学辅助、在线教育、个性化教育和学生评估等方面,可以提高教育效果和教育公平,为学生提供个性化的教育服务和智能化的学习体验。让 ChatGPT 作为一种教学辅助工具,成为教师的朋友或帮手。

ChatGPT 作为一种教育辅助工具,主要应用体现在以下几个方面:

1. 设计课程

ChatGPT 可以为教师的课程设计提供创意思路,协助检索和整理教学文献资料,生成完整的课程材料,如教学大纲、课程计划和阅读材料,并可生成文本或 PPT 图片。

2. 协助备课

ChatGPT 能够参与到教研备课中,帮助教师节省大量查询资料的时间,提高备课效率。

3. 知识搜索

可以与学生一起通过对系统的提问方式,快速搜索到相关的知识点。扩展学生的知识面和对事物的理解深度。增加课堂趣味性和丰富性,帮助学生理解复杂的内容和概念,成为教师的人工智能助教。

4. 作业测评

ChatGPT 还可以参与到学生成绩的评估,生成作业测验和考卷,帮助教师评估学生的学习质量,观察学生的学习进度。同时也可以对老师的授课质量进行测评,评价教师与学生之间的活动环节,提高教学质量。

3.2.3 语言文字翻译行业

人工智能 AI 技术在语言文字翻译领域已经实现了突破性发展,ChatGPT 实现多语言支持,可以识别多种语言,其中包括:

1. 快速翻译:ChatGPT 可以让翻译工作更加快捷便利,从而让更多的文本可以在短时间内完成翻译。

2. 准确翻译:ChatGPT 能够准确识别出语言或文本的内容,从而提高翻译准确性。

3. 语法检查:ChatGPT 可以检查、校对语言或文本的语句,语法等的翻译错误,从而提高翻译人员在翻译过程中的质量和水平。

4. 文本改进:ChatGPT 可提出改进文本的建议,从而让文本更加便于理解和完美。

5. 词汇补充:ChatGPT 可为翻译人员提供更多参考词汇,同样一个意思,根据不同的场合,用恰当的语言来表达,增强翻译亲和力。

6. 语言转换:ChatGPT 可帮助翻译人员实现几乎世界上所有语种不同语言之间的转换,从而更好满足翻译需求。

7. 文本格式:ChatGPT 可帮助翻译人员更好地理解不同文本格式,直接采用文本、表格、图片或会议纪要形式直接生成,从而更有效地完成翻译工作。

3.2.3 金融行业

对金融行业而言,ChatGPT 可以提供多种智能化的服务和解决方案,帮助金融机构提高运营效率、降低成本、丰富客户体验、管理金融风险、进行投资决策等。

1,美国 SouthState Bank 相关负责人表示:该行已确定了 15 个 ChatGPT 应用场景,如:在内控与合规管理方面,该行将通过使用 ChatGPT 帮助银行监测和评估相关风险,例如通过分析公司的合规政策、员工的行为等,提出相应的风控措施。

2,在法律事务处理方面,该行将通过使用 ChatGPT 自动检测和识别合同风险,在合同草案中插入关键要素和监管要求的法律条款,进行智能审查、智能书写,从而为本行的法律团队节省时间。

3,国内金融机构邮储银行近期表示:将优先使用百度开发的“文心一言”,在金融业开展类似 ChatGPT 人工智能的应用试点,结合行业知识进行微调和交互式训练。在智能客服、数字员工、虚拟营业厅等场景进行应用,进一步提升客户体验。探索新型的信息统计、信息获取方式,向客户提供更及时、更准确、更个性化的金融咨询服务。

4,今年 2 月 20 日,广发证券宣布将通过百度智能云全面体验并接入百度“文心一言”,通过探索大语言模型融入金融应用场景,尝试打造更为丰富、个性化的金融服务,为客户提供更智能、更有温度的财富管理服务体系。

与此同时,我们也应该认识到无论国内外,金融业都是接受严格监管的行业,ChatGPT 需要庞大的数据库支撑,要针对行业做大量的数据训练和优化。而金融数据的获取却非常严格,解决信息的准确性、安全性和用户隐私等问题,都是金融业优先考虑的问题。

国内学者认为,金融服务不但要考虑到人机交互的便捷性,更重要的是避免损失,因此 AI 和金融的结合一定要经过大量的训练,并且实时更新数据,同时与严格的安全监管机制相匹配。

3.2.4 制造业

每一次工业革命都离不开生产力的提升,先进的技术可以帮助人类从传统手工社会转向工业社会和信息化社会助力,带来生产关系的巨大变革。

这次 ChatGPT 的应用还远远算不上一次工业革命,但可被视下一场变革来临的信号。

人工智能技术可以用于生产流程优化、智能制造和质量控制等方面,可以提高制造业的效率和产品质量。

现在世界各国出生率下降,社会老龄化日益加重,ChatGPT 的出现不仅会给生产力带来变化,而且会给生产方式带来一定变化,这种变化在宏观背景下的影响可能会超过所有人的想象。

从目前 ChatGPT 的功能来看,还不能完全代替人类,但是可以释放出更多生产力,迫使人类去关注那些更具有创意、创造、思想、情感的工作。

ChatGPT 直接进入制造业和实体经济还路途遥远,但是专家认为 AI 所起到的作用,应该主要体现在降本增效上。

在可以预见的将来,大多数产业的发展都将融入人工智能技术。以硬件设备为主体的产业,例如制造业、采掘业、基础设施等,将更多加入人工智能软件的支撑,各类服务业将有更多的简单重复的工作被人工智能设备所替代人工,随着人工智能产业新形态的出现,人们的工作生活环境将因之而变。

3.2.5 物流交通运输行业

人工智能技术可以用于物流交通运输行业的智能化的路线规划、运输管理和物流优化等方面,可以提高交通运输的安全性和效率。

ChatGPT 为代表的人工智能系统,能科学规划物流和交通规划,可以给物流交通运输行业从订舱到跟踪货物、管理库存到更新车队信息提供全方位的服务,将物流和供应链行业的管理提升到一个新的水平。

3.2.6 文秘行业

传统意义上的文秘工作,主要负责处理公司或政府的日常事务,比如接打电话、文件邮寄、办文办会、档案管理、编写会议纪要、协调工作等。

ChatGPT 能完成大部分文秘的事务性、程序化的工作,应用人工智能技术,文秘工作的重心需要关注的是如何应用人工智能技术为领导的决策做好辅助性工作。协助领导提高决策的科学性、准确性。文秘可以通过使用人工智能产品,提升信息资源的准确性和效率。

文秘工作者要适应时代的快速发展,接纳新事物、新技术,善于观察、独立思考,提高创新能力和解决问题的能力。

尽管 ChatGPT 功能强大,但是完全取代文秘工作还为时过早,大量文秘的工作还是需要有人员来处理,ChatGPT 无法完全替代。ChatGPT 完全可以作为文秘工作的一个好助手,提升文秘工作的质量和水平。

有人这样说:未来不会被人工智能替代的有三种人:

有适应能力的人、有创造力的人、有解决问题能力的人。因此,人们在人工智能时代应该提高适应能力、创新能力就显得尤为重要。

3.2.7 法律行业

人工智能技术可以用于法律咨询、文书起草和司法判决等方面,可以提高法律效率和准确性,降低成本和错误率。

利用人工智能可以直接了解用户需求,更好理解用户的提问内容,进行高质量的法律条款的关联;比如检索资料、整理答案、改写文字以及翻译等,ChatGPT 在法律领域可能应用的场景如下:

1. 查找法律条款

ChatGPT 可以通过提问方式直接查找相关的法律条款,能够有效节约大量法律条款记忆和检索的时间,提高法律工作的效率,加快结案的时间。

2. 结合案例梳理适用法律要件

在一个法律案例中可能会涉及不同的法律体系,如果不是专门从事这一方向的职业律师或者法官,可能无法进行较为完整准确的分析,未接受过专门法学训练的普通民众更难以遍历相关法律条款,ChatGPT 会基于既有的法律资料进行梳理,并给出较为完整的参考。

3. 撰写法律文书

ChatGPT 具有较强的文书整理能力,可根据双方法庭陈述和辩论,撰写法庭纪要、审判纪要、起诉意见书等法律文书。也可以通过文本输入,请 ChatGPT 对法律文书进行法律条款使用准确性的检查。

4. 辅助司法裁判

2023 年哥伦比亚法院在裁判中使用了 ChatGPT 中的文本生成功能来增加说理依据,在裁判文书中,ChatGPT 给出了具体的法律条款、适用情形、立法目的以及法院以往判例对比等内容,能够有效提升诉讼案件处理的准确性。

对于统一裁判尺度具有重要价值,甚至随着技术发展,可以实现裁判文书的辅助生成、案件信息的自动回填等功能,有效辅助司法裁判。

ChatGPT 在法律领域的应用制约:

最高人民法院在 2022 年 12 月发布《关于规范和加强人工智能司法应用的意见》,提出到 2030 年,建成具有规则引领和应用示范效应的司法人工智能技术应用和理论体系,为司法为民、公正司法提供全流程高水平智提供辅助支持。

3.2.8 社交媒体行业

人工智能技术可以用于社交媒体内容生成、图片画像和产品广告推荐等方面,可提高社交媒体的用户体验和收益,为广告主和内容创作者提供更好的服务。

3.2.9 软件开发行业

随着人工智能 ChatGPT 的发展,越来越多人关心 ChatGPT 是否会对软件行业就业产生重大影响,ChatGPT 会不会让底层程序员失业?

其实目前的 ChatGPT 还是一个测试的版本,软件代码生成只是其中一个功能,还有很多需要不断改进完善的地方,要完全取代人工编程还要需要很长一段时间。

一般认为程序员就只会写代码,其实程序员写代码的时间最多占其工作量的四分之一都不到,程序员需要用大量的时间了解系统架构、功能开发的用户需求与其他团队的合作、调试和修改验证代码等等。

况且目前的 ChatGPT 智能写一些简单应用小程序和对话框的界面编程,据称 ChatGPT 通过了谷歌编码 3 级工程师的测试,并收到年薪高达 18.3 万美元的出价,但是对于一些自动化控制程度复杂的大型软件,用 ChatGPT 开发几乎是不可能的。

在开发场景固定,用户需求固定、控制比较简单、系统安全保密性不高的软件开发场合,ChatGPT 可以成为辅助工具,用于代码生成和软件代码调试的辅助工具。

反而,由于 ChatGPT 的出现,会带动软件开发人员就业岗位增加的机会,比如 ChatGPT 带动的全球人工智能加速发展,人工智能行业将继续投入大量的软件开发人员,参与人工智能软件开发、生成性预训练模型测试、云计算、云数据库等人工智能关联行业,有大量对有经验软件开发人员的需求,从而带动整个社会从学校的专业课程设置到 AI 专门程序员的培养。会给软件开发人员带来很多新的工作机会。

软件开发人员的薪资也会水涨船高,有利于整个行业发展,促进社会的进步和人工智能技术的发展。

但是有一点是肯定的,尽管有类似于 ChatGPT 等人工智能系统的协助软件编程,项目管理者会从系统安全的角度考虑,避免将一些涉及先进模型算法、系统安全、大型网络管理软件、大型数据库和云储存软件,以及计算等控制化程度较高的软件,或者任何等带有企业机密和行业安全软件,不会交给 ChatGPT 去完成。

ChatGPT 是一个开放性的系统,它可能会把你的代码在其他用户的调用中重复出现,那对企业来说是极大的安全隐患,必须设置安全围栏,防止软件编码被泄露的事件发生。

3.3 ChatGPT 发布后国外主要企业的动向

3.3.1 微软向 OpenAI 增资 100 亿美元

早在 2019 年,微软就向 OpenAI 投下 10 亿美金研发资金,ChatGPT 此番成功发布,微软准备再次增资 100 亿美元,甚至不排除将 OpenAI 和 ChatGPT 一起收购。

有消息称,微软再次增资 100 亿美元到位后,OpenAI 公司的估值约为 290 亿美元。微软将获得 OpenAI 公司的 49% 股份,75% 的利润,直到其收回全部投资,OpenAI 的非营利性母公司仅获得 2% 的股份。

微软公司近期宣布将 ChatGPT 整合入微软的搜索引擎 Bing,没过几天,又宣布会将 ChatGPT 整合进 Office 办公套件中的(Word、Excel、PPT)。用户在使用 Office 时就能体验 ChatGPT 的对话功能,这将极大丰富微软公司产品的内涵,微软的股价迅速上涨就是资本市场已察觉到了 AI 对社会进步可能产生的重大推动作用。

3.3.2 谷歌的人工智能系统 LaMDA

ChatGPT 吸引了全世界的目光,谷歌曾经也有在 AI 聊天机器人方面领先发展的机会,早在 2021 年 5 月谷歌的人工智能系统 LaMDA 亮相就惊艳了众人,但是谷歌出于某种原因,并没有打算把 AI 聊天机器人推向市场化,错失了一次极好的 AI 发展机遇。

长期以来,谷歌秉持的宗旨是使用机器学习来改进搜索引擎和其他面向消费者的产品,并为谷歌云技术提供服务。

ChatGPT 问世后,谷歌急于赶超在 AI 领域与微软的差距,于 2023 年 2 月 6 日透露计划推出一款 AI 聊天机器人 Bard,与 OpenAI 颇受欢迎的 ChatGPT 竞争。

谷歌所研发的对话应用语言模型 LaMDA(LanguageModel for Dialogue Applications),全称是对话应用程序的语言模型,它是一种能力很强的语言模型,适用于对话应用程序,是一种基于网络上数十亿词汇进行训练的大型语言模型,它受益于谷歌强大的计算能力和研发团队。

谷歌认为 LaMDA 聊天机器人,性能远超现有的 ChatGPT;另外,谷歌拥有图像生成能力更强的 Imagen 模型,性能要优于 ChatGPT 的 DALL.E 2 自然语言转换成像技术。

谷歌在 2023 年 2 月 8 日巴黎召开的发布会上,当场展示了 Bard 聊天机器人的功能。让人没想到的是 Bard 刚一亮相,就出错了。

在谷歌短短几分钟的展示中,有人向 Bard 提问;“我可以告诉我 9 岁的孩子关于詹姆斯·韦伯太空望远镜有哪些最新发现吗?”

Bard 的回答很出乎人们的意料,它指出詹姆斯·韦伯太空望远镜拍摄到了我们太阳系之外行星的第一张照片。

天体物理学家 Grant Tremblay 在推特上指出:美国宇航局公布的太阳系外行星的第一张照片,并非詹姆斯·韦伯太空望远镜拍摄,而是由欧洲南方天文台的甚大望远镜(VLT)于 2004 年拍摄的。

这个错误被出现后,导致外界质疑谷歌在 AI 聊天机器人和人工智能方面的开发能力,导致其母公司 Alphabet 当日的股价暴跌 7.68%,市值蒸发近 1056 亿美元(约合人民币 7172.78 亿元)。

这个错误体现了当前人工智能系统的一个常见缺陷,即暂时还不具备实际的“理解能力”,仅能根据概率进行猜测,并不能甄别虚假信息。

对此,微软也承认了 ChatGPT 聊天机器人同样面临类似挑战——也会表达虚假信息。

3.3.3 Meta 公司加入 AI 争夺战

继微软、谷歌在人工智能发布产品后,脸书(Facebook)母公司 Meta 也加入了人工智能 AI 市场争夺战。

2023 年 2 月 24 日,Meta 官网公布了一款新的人工智能大型语言模型 LLaMA,从参数上来看,Meta 提供有 70 亿、130 亿、330 亿和 650 亿四种参数规模的 LLaMA 模型,并用 20 种语言进行预训练。而 Open AI 推出的 GPT- 3 通过指令微调后得到的数量达 1750 亿个。

Meta 首席 AI 科学家杨立昆(Yann LeCun)这样说:在一些基准测试中,LLaMA 130 亿参数规模的模型性能优于 OpenAI 推出的 GPT- 3 性能。像 LLaMA 这样小型模型所需的计算能力和资源要少得多,且能在单个 GPU 上运行,具有独特的竞争优势。

Meta 首席执行官马克·扎克伯格表示:LLaMA 模型旨在帮助研究人员推进工作,在生成文本、对话、总结书面材料、证明数学定理或预测复杂任务方面有很好的前景。

最重要的是 Meta 称将致力于人工智能开源模型的研究,新模型会开源授权给整个人工智能 AI 研究社区,并授予大学、非政府组织和行业软件访问权限。

Meta 表示还有更多研究需要做,以解决大型语言模型中的偏见、有害评论等风险,并计划开发属于自己的 AI 芯片。

3.3.4 苹果公司在人工智能领域厉兵秣马

作为美国高科技公司巨头的苹果公司 CEO 蒂姆·库克(TimCook)2 月 3 日说:AI 是苹果布局的重点,这是令人难以置信的技术,它可以丰富客户的生活,能够为苹果在发布的碰撞检测、跌倒检测和心电图功能的产品中赋能。苹果公司在这个领域存在巨大的潜力,几乎可以影响一切。

他再次强调,AI 是一项横向技术,而不是纵向技术,因此它将影响我们所有的产品和服务。

在 OpenAI 推出 ChatGPT 火爆全网后,苹果的压力显而易见,有分析认为,苹果公司原本的语音智能服务 Siri 被边缘化了,苹果迫切需要有与 ChatGPT 相竞争的新一代人工智能产品。

外界曾猜测苹果公司将在 2023 年 2 月的一次年度人工智能峰会上展示一款类似于 ChatGPT 的产品。结果什么都没有发生。

苹果公司早在 2022 年 12 月 2 日就宣布将大力推出 Stable Diffusion 模型。Stable Diffusion 之所以引人注目,不仅因为它是开源的,还因为它的模型规模非常小,可以在一些消费类计算机上和 iPhone 产品上运行。

与此同时,Stable Diffusion 本身可以内置到苹果的操作系统中,并为任何开发人员提供易于访问的 API。

3.3.5 亚马逊公司在人工智能领域横空出世

亚马逊云科技(Amazon Web Services)是全球云计算的开创者和引领者品牌,其提供超过 200 项全功能的服务,涵盖计算、存储、数据库、网络、数据分析、机器学习与人工智能、物联网以及应用开发。

2023 年 2 月 23 日消息,亚马逊决定将与人工智能初创企业合作,加入聊天机器人之战,这是大型科技公司在生成式人工智能系统市场上强强联手的最新举措。

亚马逊云计算服务(AWS)联合开发一种语言生成工具,能与 OpenAI 的聊天机器人 ChatGPT 相媲美,可在自己的云客户中使用。

亚马逊云部门业务副总裁斯瓦米·西瓦苏布拉马尼安说:亚马逊公司将打造人工智能语言模型 BLOOM。已经有超过 10 万用户在亚马逊公司的云端运行人工智能应用程序。

由于生成式人工智能程序要对大量现有内容进行整理才能生成可阅读的新内容,因此需要通过云端传输,这意味着,亚马逊将通过云端传输获得丰厚的利润。

对亚马逊来说,更主要的业务收入是出售对云端 GPU 的访问权,很明显应用模型生成图像或文本,都会在云端的 GPU 上运行。

与此同时,亚马逊本身就是一家芯片制造商,迄今为止它的大部分精力都集中在 Graviton CPU 上,但它可以为 Stable Diffusion 等模型构建自己的专用硬件,并在价格上展开竞争。

3.3.6 英伟达在人工智能中“闷声发财”

就在 ChatGPT 得到市场热捧的时候,一个厂商正在背后闷声发大财,那就是英伟达公司。

英伟达(NVIDIA)是一家总部位于美国的人工智能计算公司。1999 年英伟达定义了 GPU(图形处理器单元),其浮点运算和并行运算速度比 CPU 强百倍之多。

GPU 的成功极大地推动了 PC 游戏市场的发展,重新定义了现代计算机图形技术,并彻底改变了矩形计算的规则,大大提高了计算机的处理能力。

2022 年 3 月推出的 NVIDIA Hopper 这一款新架构,以美国计算机领域的先驱科学家 Grace Hopper 的名字命名,将取代两年前推出的 NVIDIA Ampere 架构。基于 Hopper 架构的 GPU — NVIDIA H100,该款 GPU 集成了 800 亿个晶体管,拥有 Transformer 引擎和高度可扩展的 NVIDIA NVLink 互联技术等突破性功能,可推动 AI 语言模型、深度推荐系统、基因组学和复杂数字孪生的发展,被广泛应用于数据分析、科学计算和云图形。

事实上,无论是 OpenAI 的 ChatGPT、还是微软的搜索引擎 Bing、谷歌的人工智能系统 LaMDA,都离不开英伟达提供的底层芯片算力支持。

作为一家市值 5000 亿美元的科技巨头,以 Hopper 加速卡为代表数据中心业务堪称是英伟达的“印钞机”。

据瑞银分析师蒂莫西·阿库里估计,OpenAI 的 ChatGPT 中至少购入了 1 万颗英伟达高端 GPU 来做预训练模型。

自 2023 年以来,英伟达的股价在一个月内就大涨 40%,尽管英伟达官方对 ChatGPT 没有任何表态,但花旗分析师表示,ChatGPT 的持续快速增长,可能会进一步导致整个 2023 财年中,英伟达 GPU(图形处理器)芯片的销售额将剧增,估计至少增加 110 亿美元。

美国银行和富国银行的其他分析师也认为,英伟达将从人工智能业务中获取巨额利润。

参考资料:

[1] ChatGPT 翻开了硬币的哪一面?北京邮电大学人工智能学院教授邓伟洪、中国信通院云大所有内容科技部副主任石霖

[2] 采访报道 ChatGPT“火出圈”我们该“急眼”吗?中国经济网 2023 年 2 月 20 日

[3] OpenAI 官网(ChatGPT:优化对话的语言模型 (OpenAI.com))

[4] Interactive Learning from Policy-Dependent Human Feedback (MacGlashan et al. 2017)

[5] Deep Reinforcement Learning from Human Preferences (Christiano et al. 2017)

[6] ChatGPT: Optimizing Language Models for Dialogue (OpenAI 2022)

[7]Scaling Laws for Reward Model Overoptimization (Gao et al. 2022)

[8] Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback (Anthropic, 2022)

[9] Red Teaming Language Models to Reduce Harms: Methods, Scaling Behaviors, and Lessons Learned (Ganguli et al. 2022)

[10] Dynamic Planning in Open-Ended Dialogue using Reinforcement Learning (Cohen at al. 2022)

原文链接:https://m.jiemian.com/article/9036198.html

正文完
 
不知道
版权声明:本站原创文章,由 不知道 2023-08-13发表,共计21995字。
转载说明:声明:本站内容均来自互联网,归原创作者所有,如有侵权必删除。 本站文章皆由CC-4.0协议发布,如无来源则为原创,转载请注明出处。