千呼万唤始出来——GPT-3终于开源!

68次阅读

GPT3 终于开源 ! 不过 , 不是官方开的 ( 别打我

Eleuther AI 推出的名为 GPT-Neo 的开源项目 , 于今晨 4 点于 twitter 正式宣布 :已经开源了复现版 GPT- 3 的模型参数 (1.3B 和 2.7B 级别 ), 并将其更新在 Colab notebook 之上。需要指出的是 这次开源的模型里较大的那个版本也只是到了 GPT- 3 商用版里最小模型的参数量 , 不过 Eleuther AI 表示未来会进一步开源 10B 版本和原始大小版本的 GPT3 模型参数

消息发布后 , 立刻被各个大 v 转发 ,10 小时内就已迅速收获 1.5K 的点赞量 , 相应的 github 链接也已收获接近 2k star。

但关于复现模型的性能 , 目前只说“实验表现与原版 GPT- 3 相当”(they performed on par)。具体实验结果将于明天公布。

风靡一时的拥有 1750 亿超大参数量 , 一出道便被视作 NLP 领域最强 AI 模型的 GPT-3, 得益于其庞大的参数量 , 使得 GPT- 3 拥有不用接受特定训练与微调 , 就能在不同 NLP 领域达到领先水平的强大能力。去年七月 ,GPT- 3 被 Open-AI 以商业 API 的形式向公众开放 , 并被人们探索出了形形色色的应用 , 从基于问题的搜索 , 到文本样式转换 , 从 UI 界面设计 , 再到自动生成 SQL 代码 ,GPT- 3 以其卓越的性能展现了其广阔的应用场景 , 深度学习之父 Hinton 甚至这样评价道:

如果以 GPT- 3 的出色性能推算未来、生命、宇宙和万物的答案也不过是 4.398 万亿个参数

但是 , 由于目前 GPT- 3 的使用模式仍然是付费的商业 API, 因此并不是所有 NLP 的研究者都能使用 GPT- 3 完成自己领域的任务与工作。而由 Connor Leahy,Leo Gao 和 Sid Black 三人联合创立的 Eleuther AI 的团队 , 于去年 11 月宣布推出 GPT-Neo 的开源项目 , 该项目基于 GPT 系列的设计原理 , 旨在复现 GPT 系列的各种项目 , 在该项目发布之初 , 其团队成员已经预测可以完成 GPT- 3 级别大小的语言模型。

毫无疑问 ,GPT- 3 的开源将会催生出一大批 NLP 技术的崭新应用 , 也会以更为低廉的成本释放人们对 NLP 未来的想象力。以下是项目的 Github 与推特原文地址。

Github:
https://github.com/EleutherAI/gpt-neo/

Twitter:
https://twitter.com/arankomatsuzaki/status/1373732645444579331?s=05

原文链接:https://blog.csdn.net/weixin_40920183/article/details/115191832

正文完
 
不知道
版权声明:本站原创文章,由 不知道 2023-07-27发表,共计1076字。
转载说明:声明:本站内容均来自互联网,归原创作者所有,如有侵权必删除。 本站文章皆由CC-4.0协议发布,如无来源则为原创,转载请注明出处。