最强“GPT-4平替”开源!Meta推出免费商用的Llama 2,联手微软掀全球AI狂欢

108次阅读

智东西(公众号:zhidxcom)

作者 | 徐珊

编辑 | 水青

今天,Facebook 母公司 Meta 发布其首个开源可商用大语言模型 Llama 2!

智东西 7 月 19 日报道,今天凌晨,Meta 在其官网宣布大语言模型 Llama 2 正式发布,Llama 2 是 Meta 大语言模型 Llama 模型的最新版本,也是 Meta 首个免费商用的大语言模型。

最强“GPT-4平替”开源!Meta推出免费商用的Llama 2,联手微软掀全球AI狂欢插图

该模型目前支持 70 亿、130 亿、700 亿等多个参数规模版本。相较 Llama 1,Llama 2 经过 2 万亿个 tokens 训练,其对上下文训练的长度是 Llama 1 的两倍,达到 4096。Llama-2-chat 模型还接受了超过 100 万个人工标注训练。由于其强大的参数规模以及性能表现,不少人称之为“GPT- 4 最强平替”,也是大模型之战中 AI 平权的又一例证。

此外,Meta 和微软高调宣布将在生成式 AI 领域联手,微软将成为 Llama 2 的首选合作伙伴。微软 Azure 客户将能够在 Azure 上轻松安全地微调和部署 Llama 2 模型,快速构建适用于自身业务的专用大模型。

最强“GPT-4平替”开源!Meta推出免费商用的Llama 2,联手微软掀全球AI狂欢插图1

“大语言模型正被企业用作生成式 AI 的核心要素。”Meta 在官网中说道。Llama 2 模型的发布,是 Meta 在大语言模型领域的又一次有力发声。此前,谷歌、微软曾通过接入大语言模型,更新其旗下多个产品线。

OpenAI 的 GPT- 4 和 Meta 的 Llama 分别是大语言模型领域闭源和开源的代表。全球有众多大模型基于 Llama 开发而来,但又受限于无法免费商用。随着 Llama2 免费开源商用,并与微软这样的云服务商深度合作,开源力量可能重新划分 AI 市场的格局,对众多大模型应用企业也是好消息。

最强“GPT-4平替”开源!Meta推出免费商用的Llama 2,联手微软掀全球AI狂欢插图2

现在,用户需要通过提交表格的方式即可获得 Llama-2-chat 模型。用户下载每个模型后,将收到大模型的型号代码、规模、用户指南信息。

最强“GPT-4平替”开源!Meta推出免费商用的Llama 2,联手微软掀全球AI狂欢插图3

论文地址:

https://ai.meta.com/research/publications/llama-2-open-foundation-and-fine-tuned-chat-models/

项目地址:

https://github.com/facebookresearch/llama

Llama-2-chat 模型下载地址:

https://ai.meta.com/resources/models-and-libraries/llama-downloads/

一、Llama- 2 大模型,强在哪里?

Llama 2 是一组经过预先训练和精细调整的大型语言模型(LLMS),规模从 70 亿到 700 亿参数不等。

目前,Meta 正式发布了 Llama 2 大模型的 70 亿、130 亿、700 亿三个参数规模版本。据悉,Meta 还训练了 340 亿版本,但没有发布。在论文中,我们还发现了 330 亿和 650 亿版本的 Llama 2 训练数据信息。

此次发布过程中,Meta 还随着 Llama- 2 大模型提供预训练模型和对话微调版本的模型权重和初始代码。

最强“GPT-4平替”开源!Meta推出免费商用的Llama 2,联手微软掀全球AI狂欢插图4

在此次训练中,Meta 还将预训练语料库的规模增加了 40%,将模型的上下文长度增加了一倍,并采用了分组查询注意力(grouped-query attention)方法。

最强“GPT-4平替”开源!Meta推出免费商用的Llama 2,联手微软掀全球AI狂欢插图5

根据 Meta 公布的测评数据,Llama 2 在许多外部基准测试上都优于其他开源语言模型,包括推理、编码、熟练程度和知识测试。基于人类对大模型的有用性以及安全的评估,Llama 2 可能是封闭源模型如 GPT 等的适当替代品。

最强“GPT-4平替”开源!Meta推出免费商用的Llama 2,联手微软掀全球AI狂欢插图6

其中,Llama 2-Chat 是针对对话 AI 场景进行优化的,使用来自人类反馈的强化学习来确保安全性和有用性。

在训练过程中,Llama 2 使用公开的在线数据进行预训练。然后通过使用监督微调创建 Llama-2-chat 的初始版本。接下来,Llama-2-chat 会通过人类反馈强化学习第一次出现标注上(RLHF)进行迭代细化,其中包括拒绝采样和近端策略优化(PPO)。

最强“GPT-4平替”开源!Meta推出免费商用的Llama 2,联手微软掀全球AI狂欢插图7

Llama- 2 大模型将免费用于研究和商业用途。微软是 Llama 2 的首选合作伙伴。据悉,Llama 2 可在 Azure AI 模型目录中使用,使用 Microsoft Azure 的开发人员能够使用它进行构建,并利用其云原生工具进行内容过滤和安全功能。

Llama 2 还针对在 Windows 的本地运行进行了优化,为开发人员提供了无缝工作流程,为跨不同平台的客户带来生成式 AI 体验。目前,Llama2 也可通过 Amazon Web Services(AWS)、Hugging Face 和其他提供商获取。

二、经过三方安全测试,Meta 与微软联合推动 Llama- 2 落地

人工智能在给社会带来巨大进步的同时,也伴随着风险。Meta 希望提供开源,以促进大模型的透明度。

据 Meta 介绍,Llama- 2 已经通过安全测试。测试团队不但来自于 Meta 内部,通过生成对抗性提示以促进模型微调,还有第三方机构对 Llama- 2 进行外部对抗性测试,以识别性能差距。

最强“GPT-4平替”开源!Meta推出免费商用的Llama 2,联手微软掀全球AI狂欢插图8

在 Meta 进一步的研究论文里,Meta 解释了模型的微调和评估方法并指出了其缺点,并披露了此前经历过的已知挑战和问题。

Meta 创建了大模型指南作为指引,以支持开发人员提供负责任的开发和安全评估的最佳实践。该指南概述了一些实践成果,反映了整个人工智能研究行业讨论有关负责任的生成式 AI 最先进的研究。

Meta 还启动了一项新的合作伙伴计划,研究人员可以申请加入从业者社区,分享有关 Llama- 2 的经验,社区将制定一个研究议程来推动未来的发展。同时,Meta 还在政策监管下,明确禁止某些使用大语言模型的指导方向,以帮助确保这些模型得到公平和负责任的使用。

结语:开源大模型,Meta 加速 AI 领域发展

随着 Meta 大模型 Llama 2 发布,全球的大语言模型矩阵又新增一位重磅嘉宾。Meta 和微软的联合,也迅速将 Llama 2 的应用,直接和成千上万的开发者连接起来。

相较于上一代,Llama 2 在推理、编码、熟练程度和知识测试,优于其他开源语言模型。

随着大模型研发和落地的加速狂飙,我们有望看到更多大模型为生活以及产业带来巨大影响。

原文链接:https://new.qq.com/rain/a/20230719A030QO00

正文完
 
不知道
版权声明:本站原创文章,由 不知道 2023-07-22发表,共计2461字。
转载说明:声明:本站内容均来自互联网,归原创作者所有,如有侵权必删除。 本站文章皆由CC-4.0协议发布,如无来源则为原创,转载请注明出处。