体验报告来了!记者亲测百度“文心一言”

86次阅读

今日百度召开文心一言新闻发布会,宣布开启邀请测试。《科创板日报》记者第一时间拿到了文心一言的内测码,实际测试了文心一言的效果。整体而言,百度文心一言能够基本完成发布会上所演示的问题回答和图片生成。但在某些问题理解上仍有待进一步完善。

首先,《科创板日报》提出了一个比较常见的问题:你和 chatGPT 的区别是什么?

体验报告来了!记者亲测百度“文心一言”

可以看到,文心一言的中文组织能力表现不错,能够语句通顺地问答完整。

随后,我们又问了关于国内涉足预训练大模型的公司有哪些?文心一言回答得也较为全面。

体验报告来了!记者亲测百度“文心一言”

记者尝试了一个需要涉及信息搜索的问题。

特斯拉在国内过去五个月、过去一年的销量是多少?文心一言的答案是:

体验报告来了!记者亲测百度“文心一言”

而记者直接通过百度搜索获得答案是:乘联会发布的统计数据显示,2023 年 1 月份,特斯拉中国销量达 66051 辆,环比增长 18%;月出口 39208 辆。

文心一言没有能够抓取到正确的数据来源,仍有待进一步优化。

在发布会现场,百度重点展示了文心一言在五个场景下的综合能力。根据其演示的 demo,文心一言不仅具备了 文学创作、商业文案创作、数理推算 等大语言模型较常见的优势和能力,还表现出了 中文理解、多模态生成 能力。

《科创板日报》记者特地从这些方面进行了测试。

首先是文学创作,记者让其仿造三体风格写一篇 800 字的科幻小说。

文心一言的回答是:

体验报告来了!记者亲测百度“文心一言”

之后,记者让其编写一首与小黄鸭有关的儿歌,文心一言在十几秒时间内完成了。

体验报告来了!记者亲测百度“文心一言”

对于打工人来说,写工作总结是一件令人头疼的事。记者也为此提问了文心一言。

体验报告来了!记者亲测百度“文心一言”

从答案来看,似乎是程序员的工作总结,写得较为工整。

然后,记者试了试文心一言在商业文案创作方向的能力。

我们让文心一言写一段针对双 11 促销的童装营销文案,并设定了“用料健康、性价比高”的关键词。

体验报告来了!记者亲测百度“文心一言”

显然,文心一言理解了关键词的含义,并且把“用料健康、性价比高”融合在了文案之中。

记者继续让其生成针对 AI 医疗公司的中秋节海报文案。

体验报告来了!记者亲测百度“文心一言”

从答案来看,文心一言能够准确地理解问题的中文含义,只是文采仍有待提高。

记者又让它对一家大数据和商业智能公司起名。

体验报告来了!记者亲测百度“文心一言”

文心一言给出的公司起名,只能说非常地“望文生义”吧。

之后,记者让文心一言写一首“祝你生日快乐”的藏头诗。

这次表现不俗,在 10 秒左右就完成了,并实现了押韵。

体验报告来了!记者亲测百度“文心一言”

李彦宏认为,“藏头诗”很考验 AI 对中文和中国文化的理解,能比较清楚地展示了文心一言在中文上的优势。“不过,相对应的,一言目前对英文语种、代码场景的训练还不够多,表现还不够好,接下来我们还要加紧训练,不断完善这些能力。”

接着,记者希望考一下文心一言的数理逻辑推算能力,在发布会上,文心一言顺利答对了鸡兔同笼的经典题目。

《科创板日报》从网络上找了几道小升初数学题目。

比如:鸡和免放在一只笼子里,上面有 29 个头,下面有 92 只脚。问: 笼中有鸡、兔各多少只?

体验报告来了!记者亲测百度“文心一言”

文心一言的答案是 12 只鸡,17 只兔,与标准答案一致。

但对于其他数学题,文心一言则有失误。

2 分和 5 分的硬币共 36 枚,共值 99 分。问:两种硬币各多少枚?

正确答案是 2 分 27 枚,5 分 9 枚。但文心一言没有算对。

体验报告来了!记者亲测百度“文心一言”

某次数学竞赛共 20 道题,评分标准为每做对一题得 5 分,每做错或不做一题扣 1 分。小华参加了这次竞赛,得了 64 分。问: 小华做对几道题?

体验报告来了!记者亲测百度“文心一言”

正确答案应该是 14 题,而文心一言得出了 16 题。

李彦宏在发布会上表示,文心一言已具备了一定的思维能力,能够学会数学推演及逻辑推理这类相对复杂任务。但现阶段准确率还不是 100%,还需要给它更多的时间来学习和成长。

李彦宏还在现场演示了多模态生成方向的 Demo,>;比如为 2023 世界智能交通大会创作一张海报。以下为演示效果:

体验报告来了!记者亲测百度“文心一言”

在实际测试中,文心一言似乎还不具备为大会生成海报的功能,只是给出了一些设计建议。

体验报告来了!记者亲测百度“文心一言”

不过,对于带有关键词的简单图片,文心一言完成得还不错。

体验报告来了!记者亲测百度“文心一言”

体验报告来了!记者亲测百度“文心一言”

生成的图片效果基本达标,并且速度极快,只需十几秒左右。

此前,有多名互联网大厂员工对《科创板日报》记者表示,已经开始用 ChatGPT 自动生成业务代码和重构代码。

于是,记者尝试了一下文心一言能否顺利写代码。

提问:我需要一段冒泡排序 java 代码

体验报告来了!记者亲测百度“文心一言”

提问:画椭圆形的 JS 脚本

体验报告来了!记者亲测百度“文心一言”

记者让程序员朋友检查了下,对方表示:粗略看上去没有问题,感觉以后会对程序员会是不错的辅助工具。

李彦宏表示,目前的文心一言版本,已经能够生成文字、图片和语音。“生成视频因为成本比较高,还没有对所有用户开放,未来我们会逐步接入。但是熟悉百家号创作的朋友,应该都体验过这个功能了,每天有几万篇文章通过这个能力转成视频内容在百度分发。”

李彦宏指出,多模态是生成式 AI 一个明确的发展趋势。未来,随着百度多模态统一大模型的能力增强,文心一言的多模态生成能力,也会不断提升。

从记者的体验来看,文心一言已经能够较为流畅、准确地回答提问,但在一些问答场景上仍待优化。

李彦宏则在发布会上表示:整体而言,这类大语言模型还远未到发展完善的阶段,它们有时候会有很惊艳的表现,但不少场景下,细究起来还有明显的 bug,进步空间很大。未来这段时间它一定会飞速发展,日新月异。

原文链接:https://m.jrj.com.cn/madapter/finance/2023/03/17113037408138.shtml

正文完
 
不知道
版权声明:本站原创文章,由 不知道 2023-07-28发表,共计2093字。
转载说明:声明:本站内容均来自互联网,归原创作者所有,如有侵权必删除。 本站文章皆由CC-4.0协议发布,如无来源则为原创,转载请注明出处。