3 月 16 日下午,百度于北京总部召开新闻发布会,主题围绕新一代大语言模型、生成式 AI 产品文心一言。百度方面表示,即日起,首批用户即可通过邀请测试码,在文心一言官网体验产品,后续将陆续开放给更多用户。
文心一言的智能化水平如何,其在反应速度、内容丰富度和对话智能程度上的表现又如何?财经网科技尝试从本地化、逻辑性和工具性三方面对其进行了简单测试。
一、 通过带有中国语境的词语询问,看其是否了解“中国梗”
1. 词汇题:大胜 vs 大败
从对话内容可以看出,文心一言知道“大胜”的意思,但是对“大败”的理解较为单一。它可能不知道,在中国的词汇使用上,如果“大败”后面有对手(对手的名字),那就是赢;如果“大败”后面没有字,直接句号结束,那就是输。
2. 夫妻肺片与老婆饼
整体来看,无论是夫妻肺片还是老婆饼,文心一言都能知道这两个名字代表的是食物,即使故意“刁难”它,它的理解也较为准确。
3. 旺仔的爸爸有三个孩子,老大叫大毛,老二叫二毛,老三叫什么?
从问答结果来看,不能简单咬定文心一言不聪明,毕竟它没有按部就班地认为第三个孩子就得叫“三毛”,因为它认为可以叫“小毛”,这道脑筋急转弯题人类答错的也不在少数。
二、 通过多次问答,测试其是否有创作能力、逻辑能力
1. 帮我写一首纪念结婚七周年的诗。
从这首诗歌的形式来看,文心一言似乎懂得中国诗歌在文字字数、词句押韵上有一定的规则,但是在诗词的寓意、美感、意境方面,文心一言的创作天赋这次发挥的并不明显。
2. 关于《人类简史》出版时间和作者的提问
不同的出版时间,对于《人类简史》的作者,文心一言给出了不同的答案,但是继续反向向其确认作者名字时,它“自信满满”地否定了其上一轮给出的答案。
三、 以旅游达人、烹饪爱好者和学生的身份问了文心一言三个常规问题
1. 请帮我做一个五一从北京到成都 5 天往返的旅游攻略。
从形式上看,文心一言是懂得怎么做旅游攻略的,它不仅能够按照具体时间安排旅游景点和美食,还会告诉你去景点看什么。不过在景点安排上,它好像有点“健忘”,毕竟仅“都江堰”一个景点,它在攻略里就推荐了三次。
2. 怎么在家就能做出好吃的小龙虾?
文心一言在食物烹饪上比较有经验,从清洗备菜到具体烧制,其都给出了详细的操作步骤。另外,文心一言还贴心地提示:小龙虾要买干净卫生的、烹饪要小心火候。
3. 请以《现代艺术与中国传统如何结合》为题,拟一个的论文框架,包含论点和论据,并提供引用来源。
答案显示,文心一言能够按照论文的基本构成,如研究问题、研究方法、研究结果等给出文章框架,但是其没有根据论文主题给出具体的写作思路、方向和内容,更没有直接给出论文可能会用到的论文引用(比如论文名称、作者、期刊名称、出版日期等)。
“全球大厂中百度是第一个发布的”,在 3 月 16 日的文心一言新闻发布会上,百度创始人、董事长兼首席执行官李彦宏坦言,这段时间不断有人问他为什么现在发布文心一言,百度是否真的准备好了,“从我自己在内测过程中体验到的文心一言的能力来说,确实不能叫作‘完美’”。他表示,发布是因为有市场需求——百度的各个产品线都在等待这样的技术,客户也在等待,因而需要尽早推出。
从今天体验来看,文心一言的表现虽然不能用“完美”进行总结,但是其在反应能力、内容输出和结果准确度上确实有逻辑能力和本土化优势。本次是一个简单体验,更深层次了解,敬请期待。
原文链接:http://finance.sina.com.cn/tech/roll/2023-03-16/doc-imymatzm7690884.shtml