![人称“GPT-4最强平替”的Llama 2,究竟厉害在哪里?插图 人称“GPT-4最强平替”的Llama 2,究竟厉害在哪里?插图](http://k.sinaimg.cn/n/sinakd20230726s/340/w800h340/20230726/2775-3b842282c2543415f35cc1bce79f1a90.png/w700d1q75cms.jpg?by=cms_fixed_width)
智东西
编译 | 铭滟
编辑 | 徐珊
智东西 7 月 26 日消息,据 The Information 报道,Llama 2 与 GPT- 4 在性能与成本方面各有优势。除此之外,虽然 Llama 2 为免费商用的开源模型,但大模型的创建过程还需要专业人员操作。Llama 2 的发布也激发了 AI 爱好者的积极讨论与应用。
在性能方面,根据大规模多任务语言理解的基准测试,GPT- 4 和 GPT-3.5 的表现均优于 Llama 2;在训练成本方面,Llama 2 的 700 亿参数模型则通过分组机制降低成本,且同时还可以处理更多请求。上周 Meta 正式发布 Llama 2 后,Llama 2 强大的参数规模以及性能表现,对 OpenAI 带来了不小的压力,人称为“GPT- 4 最强平替”。
Llama 2 作为 Meta 发布的首个免费商用的开源大模型,这并不等于各个商业公司可以自行创建大语言模型(LLM)。使用开源 AI 模型构建 LLM 和聊天机器人仍需要专业人员完成。
一、比起 GPT-4,Llama 2 的优势在哪里?
The Information 称 Llama 2 的发布是 Meta 的夺权之作,因为几乎每家公司都可以选择收费商用,但 Meta 选择免费商用。OctoML 的联合创始人 Jason Knight 认为,Llama 2 将抢夺 OpenAI 旗下 GPT- 4 的市场份额,OctoML 是一家机器学习(ML)模型优化和部署的平台公司。
但 OpenAI 或将推出与 Llama 2 对标的开源商用 LLM,据 The Information 消息,OpenAI 未发布模型的代号是 G3PO,但尚未有消息表明它将于何时发布。考虑到 OpenAI 的员工数量,新模型的发布或将延迟。
The Information 称,OpenAI 将开发一种闭源模型与开源模型的混合体,前者用于营收,后者仍将向开发者开放,并吸引开发者为闭源模型付费。目前,扎克伯格并未对此消息作出进一步表示。
Llama 2 大模型有 70 亿、130 亿、700 亿三个参数规模版本。参数是指大模型在训练过程中用来对所学内容进行编码的参数,参数数量越大,模型复杂性越高,对服务器的性能要求也越高。较小的模型运行起来更快更轻松,较大的模型更适合复杂推理任务。
![人称“GPT-4最强平替”的Llama 2,究竟厉害在哪里?插图1 人称“GPT-4最强平替”的Llama 2,究竟厉害在哪里?插图1](http://k.sinaimg.cn/n/sinakd20230726s/478/w800h478/20230726/a966-5c5a01aa6cd6ea072097333417c7849d.jpg/w700d1q75cms.jpg?by=cms_fixed_width)
与其他 LLM 相比,Llama 2 在性能方面表现居中。根据大规模多任务语言理解(MMLU,一种常用的文本模型基准),Llama 2 的 700 亿参数模型在数学和编码等各种任务上的表现优于 MosaicML 预训练转换器(MPT)和阿联酋阿布扎比的技术创新研究所(Technology Innovation Institute)的 Falcon。但 Llama 2 的表现略落后于 OpenAI 的 GPT-3.5,在编码基准方面,两者有很大差距。与 GPT- 4 和谷歌的 Pathways Language Model(PaLM)2(Bard 聊天机器人的运行基础)相比,Llama 2 的性能差距更大。
在训练和使用 AI 模型的成本方面,Llama 2 的表现则优于其他 LLM。Llama 2 的 700 亿参数模型中使用了分组查询注意机制(Grouped-Query Attention,GQA)。GQA 是一种降低 LLM 内存需求的建模技术。这一技术可以降低每一字节的计算成本,使得 LLM 能同时处理于更多的请求。如今这一点变得越发重要,因为训练和使用 AI 模型的成本激增。以 GPT- 4 为例,它的训练费用就超过了 1 亿美元。
二、商用免费后,公司还需要花钱买 LLM 吗?
Llama 2 发布后,似乎每家公司都可以自行创建 LLM 和聊天机器人了。但这没有想象中那么简单。使用开源 AI 模型构建 LLM 和聊天机器人需要多重步骤,包括托管模型、构建聊天机器人用户界面、以模型路径存储专有数据,以及微调模型。这些都是费时费力的工作,即使是 Databricks 等销售 AI 模型工具的公司也需要数据科学家来完成这项任务。
然而,AI 从业者和爱好者已经开始互帮互助,共同开发 Llama 2。Reddit 社区上充斥着各种教程,从如何告诉模型要生成什么东西,到教人们个性化设置 Llama 聊天机器人。与此同时,GitHub 上的 Ollama 也发布脚本,辅助用户在笔记本电脑上本地运行 Llama 2,这也让更多的人可以使用 Llama 2。
![人称“GPT-4最强平替”的Llama 2,究竟厉害在哪里?插图2 人称“GPT-4最强平替”的Llama 2,究竟厉害在哪里?插图2](http://k.sinaimg.cn/n/sinakd20230726s/556/w800h556/20230726/6bb9-0b9b12097931fab5865963463f15e55d.png/w700d1q75cms.jpg?by=cms_fixed_width)
Meta 此举还将提升提供应用程序和服务器的公司的估值,因为此类公司能够辅助运行人工智能模型。据多位知情人士透露,Modal 最近以 1.5 亿美元的税后估值获得了 Redpoint Ventures 的资助,该公司主营业务为帮助开发者在线上运行人工智能应用程序代码。Redpoint 发言人兼 Modal 首席执行官拒绝置评。
结语:Meta 的开源之举或将影响 AI 领域生态
Llama 2 的发行吸引了 AI 业内大量的关注,为 Meta 在 AI 领域的后续发展提供了难得的机会。Meta 的免费开源之举可能会给业内带来一个蓬勃发展的开发者生态,开发者可以免费改进各项应用软件。
对于包括 OpenAI 在内的其他 AI 企业来说,Meta 的行为是否会改变他们的产品发布节奏?或者影响其内部战略决策?对此,我们也会持续关注。
来源:The Information
特别声明:以上文章内容仅代表作者本人观点,不代表新浪网观点或立场。如有关于作品内容、版权或其它问题请于作品发表后的 30 日内与新浪网联系。
原文链接:http://k.sina.com.cn/article_5213469505_136bf3b410200109yq.html