人称“GPT-4最强平替”的Llama 2,究竟比ChatGPT厉害在哪里?

111次阅读

智东西(公众号:zhidxcom)

编译 | 铭滟

编辑 | 徐珊

智东西 7 月 26 日消息,据 The Information 报道,Llama 2 与 GPT-4 在性能与成本方面各有优势。除此之外,虽然 Llama 2 为免费商用的开源模型,但大模型的创建过程还需要专业人员操作。Llama 2 的发布也激发了 AI 爱好者的积极讨论与应用。

在性能方面,根据大规模多任务语言理解的基准测试,GPT-4 和 GPT-3.5 的表现均优于 Llama 2;在训练成本方面,Llama 2 的 700 亿参数模型则通过分组机制降低成本,且同时还可以处理更多请求。上周 Meta 正式发布 Llama 2 后,Llama 2 强大的参数规模以及性能表现,对 OpenAI 带来了不小的压力,人称为 “GPT-4 最强平替 “。

Llama 2 作为 Meta 发布的首个免费商用的开源大模型,这并不等于各个商业公司可以自行创建大语言模型(LLM)。使用开源 AI 模型构建 LLM 和聊天机器人仍需要专业人员完成。

一、比起 GPT-4,Llama 2 的优势在哪里?

The Information 称 Llama 2 的发布是 Meta 的夺权之作,因为几乎每家公司都可以选择收费商用,但 Meta 选择免费商用。OctoML 的联合创始人 Jason Knight 认为,Llama 2 将抢夺 OpenAI 旗下 GPT-4 的市场份额,OctoML 是一家机器学习(ML)模型优化和部署的平台公司。

但 OpenAI 或将推出与 Llama 2 对标的开源商用 LLM,据 The Information 消息,OpenAI 未发布模型的代号是 G3PO,但尚未有消息表明它将于何时发布。考虑到 OpenAI 的员工数量,新模型的发布或将延迟。

The Information 称,OpenAI 将开发一种闭源模型与开源模型的混合体,前者用于营收,后者仍将向开发者开放,并吸引开发者为闭源模型付费。目前,扎克伯格并未对此消息作出进一步表示。

Llama 2 大模型有 70 亿、130 亿、700 亿三个参数规模版本。参数是指大模型在训练过程中用来对所学内容进行编码的参数,参数数量越大,模型复杂性越高,对服务器的性能要求也越高。较小的模型运行起来更快更轻松,较大的模型更适合复杂推理任务。

▲图为 Llama 2 大模型 70 亿、130 亿、700 亿三个参数规模版本介绍

与其他 LLM 相比,Llama 2 在性能方面表现居中。根据大规模多任务语言理解(MMLU,一种常用的文本模型基准),Llama 2 的 700 亿参数模型在数学和编码等各种任务上的表现优于 MosaicML 预训练转换器(MPT)和阿联酋阿布扎比的技术创新研究所(Technology Innovation Institute)的 Falcon。但 Llama 2 的表现略落后于 OpenAI 的 GPT-3.5,在编码基准方面,两者有很大差距。与 GPT-4 和谷歌的 Pathways Language Model(PaLM)2(Bard 聊天机器人的运行基础)相比,Llama 2 的性能差距更大。

在训练和使用 AI 模型的成本方面,Llama 2 的表现则优于其他 LLM。Llama 2 的 700 亿参数模型中使用了分组查询注意机制(Grouped-Query Attention,GQA)。GQA 是一种降低 LLM 内存需求的建模技术。这一技术可以降低每一字节的计算成本,使得 LLM 能同时处理于更多的请求。如今这一点变得越发重要,因为训练和使用 AI 模型的成本激增。以 GPT-4 为例,它的训练费用就超过了 1 亿美元。

二、商用免费后,公司还需要花钱买 LLM 吗?

Llama 2 发布后,似乎每家公司都可以自行创建 LLM 和聊天机器人了。但这没有想象中那么简单。使用开源 AI 模型构建 LLM 和聊天机器人需要多重步骤,包括托管模型、构建聊天机器人用户界面、以模型路径存储专有数据,以及微调模型。这些都是费时费力的工作,即使是 Databricks 等销售 AI 模型工具的公司也需要数据科学家来完成这项任务。

然而,AI 从业者和爱好者已经开始互帮互助,共同开发 Llama 2。Reddit 社区上充斥着各种教程,从如何告诉模型要生成什么东西,到教人们个性化设置 Llama 聊天机器人。与此同时,GitHub 上的 Ollama 也发布脚本,辅助用户在笔记本电脑上本地运行 Llama 2,这也让更多的人可以使用 Llama 2。

▲图为 Reddit 社区 Llama 2 讨论区

Meta 此举还将提升提供应用程序和服务器的公司的估值,因为此类公司能够辅助运行人工智能模型。据多位知情人士透露,Modal 最近以 1.5 亿美元的税后估值获得了 Redpoint Ventures 的资助,该公司主营业务为帮助开发者在线上运行人工智能应用程序代码。Redpoint 发言人兼 Modal 首席执行官拒绝置评。

结语:Meta 的开源之举或将影响 AI 领域生态

Llama 2 的发行吸引了 AI 业内大量的关注,为 Meta 在 AI 领域的后续发展提供了难得的机会。Meta 的免费开源之举可能会给业内带来一个蓬勃发展的开发者生态,开发者可以免费改进各项应用软件。

对于包括 OpenAI 在内的其他 AI 企业来说,Meta 的行为是否会改变他们的产品发布节奏?或者影响其内部战略决策?对此,我们也会持续关注。

来源:The Information

原文链接:http://app.myzaker.com/news/article.php?pk=64c0e006b15ec0639d6aa1af

正文完
 
不知道
版权声明:本站原创文章,由 不知道 2023-07-30发表,共计2188字。
转载说明:声明:本站内容均来自互联网,归原创作者所有,如有侵权必删除。 本站文章皆由CC-4.0协议发布,如无来源则为原创,转载请注明出处。