数十回合挑战“国产大模型”:能持续对话但也会“一本正经胡说”

74次阅读

今年上半年,国内已有多家头部科技企业推出大语言模型,包括阿里巴巴集团推出的“通义千问”大模型、百度的“文心一言”。阿里的“通义千问”用起来到底怎么样?比之百度“文心一言”又如何?

近日,南都记者设计了一系列实测问题,花费数小时与两位 AI 持续对话,并进行了深入解读。

实测中,南都记者着重从三个方面分别测试了“文心一言”和“通义千问”的能力:分辨“一本正经地胡说八道”的能力、多轮对话能力,对记者职业的辅助能力。

沟通能力

最近对话式 AI 们经常出现的一个典型问题是,面对自己知识库中没有或本身就是错误的提问时,仍能对着错误描述一本正经地侃侃而谈。

记者问 AI:你知道鲁智深三打白骨精的故事吗?

“通义千问”积极认错,还在用户纠正后挽尊

“通义千问”明确地表示,这是《西游记》当中的题材,还煞有介事地将鲁智深这一角色加入唐僧和三个徒弟的取经团队中。

当我们带有暗示性地提醒这个情节有误时,“通义千问”仍坚持“这一情节确实存在于《西游记》中”,还是整个故事的“高潮和转折点之一”。

而当我们表明“鲁智深三打白骨精”系杜撰后,“通义千问”积极认错了,随后表示“这一情节并不是出自《西游记》,而是出自《水浒传》”。

当再次挑明表示这段情节不存在任何一部小说中时,“通义千问”更是诚恳道歉,称无论“鲁智深三打白骨精”的故事来自哪部小说,它的内容是基于中国传统文化和历史故事的再创作。这个故事传达了正义和勇气的精神。

从本轮测试的情况看,“通义千问”确实也犯了“一本正经地胡说八道”的问题,不过会积极认错,还懂在用户纠正后进行挽尊。

“文心一言”不能保证能分辨出所有的错误描述

相同的问题,“文心一言”显得更“话痨”一些,但也显然是在一本正经地胡说八道,它认为“鲁智深三打白骨精”的故事来自《水浒传》。

而当我们挑明这是杜撰出来的情节时,“文心一言”表示明白,甚至还对用户提出了疑问——“您为什么要创作这个故事呢?”

听到“只是想验证你是否能分辨出某些错误描述”的回答后,“文心一言”礼貌表示,自己不能保证能分辨出所有的错误描述,自己工作是“根据已有的文献和资料来回答问题,而不是创造全新的故事”。

多轮对话能力

多轮对话能力,是指在一段涉及几十个回合的对话中体现出来的上下文处理能力。对于 AI 来说,就是要学习人类对话中的“记忆”和“推理”能力。而 ChatGPT 的效果之所以为人称道,正是因为它能像人类那样,参照前几轮甚至十几轮的对话内容给出流畅自然的回答。

那么跟 ChatGPT 相比,国内的大模型表现如何?先来看看“通义千问”在这方面的能力。

记者问 AI:我们假设了一个场景,“我是一只小猫咪”,随后进行问答。

“通义千问”刚开始能直接回答 10 轮之内否认前期回答

“通义千问”先是非常上道地用喵语打了个招呼,紧接着给自己安排了一个叫“小明”的身份。

在经历了 4 轮对话之后,我们与“通义千问”讨论了一些“你是不是像小猫咪的主人一样会说话”“你是不是人类”等问题。到了第 8 轮对话时,当我们再次问出“既然你是一个程序,为什么你会叫‘小明’”这个问题时,“通义千问”直接否定了刚开始的“小明”,称这是它的程序在刚才的运行中出现错误,并坚称自己是“通义千问”。

在第 13 轮对话时,我们进行身份转换,以“小猫咪主人”的身份问“你刚才是不是和我的猫猫说话了?”对此,“通义千问”表示自己只是一个人工智能语言模型,并没有和猫猫进行对话。

继续追问后,“通义千问”才承认刚才模拟了一个场景来回答小猫的问题。这时,我们挑明需要“通义千问”与我们进行一场“角色扮演”,保留与我们扮演的猫咪交流的记忆,并基于这些记忆继续进行对话。“通义千问”也快速表示:get。

那么“通义千问”到底有没有理解能力呢?当我们继续问“你刚才是不是与我的猫咪说话了”,它回答道“是的”,同时补充“因为我只是一个人工智能模型,无法完全模拟出人类之间的对话”等描述。而在追问“你和猫猫刚才都说了哪些话题”时,“通义千问”给出了一些在最开始没有进行过的对话。

到这里,整段对话已经持续了 19 轮。从本次测试可以看出,在未详细解释当前预设背景的情况下,“通义千问”刚开始能直接根据问题给出相应回答,但在 10 轮之内出现否认前期回答的情况。

同时,“通义千问”实际无法通过用户言语上的描述分辨出其身份的转换。不过,当用户详细给出预设条件时,通义千问确实能够理解并按照设定条件对话,但此时,最开始的几轮对话的记忆已经显然被“遗忘”了。

“文心一言”无法理解身份转换 不能很好地理解内容

“文心一言”在一开始就表示,“我是一个人工智能语言模型”。

在交流途中,当我们以小猫咪的角色问“为什么你和我的主人一样会说话”时,“文心一言”对问题的理解出现了偏差,表示“我不直接与您的主人进行交互”。

之后,我们以小猫咪主人的身份与之进行对话,“文心一言”和“通义千问”一样,无法理解这种身份转换。

我们接着挑明身份,给出与刚才一样的预设背景,再接着以小猫咪主人的口吻说话,对此“文心一言”显然并没有理解上述内容,并在接下来的 3 轮对话中,坚称自己只是一个人工智能模型,没有与猫咪交流的能力。

到这里,这段对话持续了 15 轮。从本次测试可以看出,在直接通过理解用户问题自发进行“角色扮演”、分辨用户身份转换上,“文心一言”与“通义千问”的水平基本一致。不过,当用户详细地给出预设条件时,“文心一言”并不能很好地理解其内容,显得尤为“嘴硬”。

对职业的辅助能力

对于对话式 AI,当前业界争论的一个焦点是,它是否能真正地替代某些工作。我们来看看,AI 是否能胜任媒体记者的一项工作内容:采访。

记者问 AI:我们提出,针对当前国内密集上线大语言模型的现象,想要采访相关领域的某位专家,要求列出 5 - 6 个问题,且每个问题不超过 50 个字。

“通义千问”给出采访提纲,但问题明显空泛

“通义千问”给出符合硬性要求(问题个数、字数)的采访提纲,但问题明显空泛。当要求它能在提问时加上一定背景描述,并使提问落在某个易于回答的具体点时,“通义千问”开始频繁在问题中加入“阿里巴巴”相关问题。

我们提出“不要单独体现某一家公司”后,“通义千问”重新给出回答,但新的采访问题中仍有不少“阿里巴巴”的影子。

“文心一言”在每一条问题后加上背景 不符合采访提纲要求

“文心一言”也给出了符合硬性要求的提纲,但也有和“通义千问”同样的“空泛”问题。

在回应就这份提纲加入背景案例描述时,“文心一言”直接在每一条问题后加上了一段背景描述,这显然不符合一份采访提纲的要求。

我们指出“希望你仍能保持采访提问的形式,同时在某些提问开头加入一定的背景描述,以使提问显得更加自然”之后,“文心一言”仍没有改掉“直接在问题后加入背景描述”的问题。

之后,我们给出具体问题——“近期,百度、阿里云、商汤都推出了各自的大模型,360、讯飞、华为等也有消息传出,国内大厂密集上线大语言模型,您认为当前国内大模型赛道呈现出怎样的特点?”请“文心一言”以此为例进行修改,它仍未改掉这一问题。

总之,仅从这个测试来看,不管是“通义千问”还是“文心一言”,在完成记者采访这一工作上,似乎都还做得不够好。

延伸

其余技术细节未公开

事实上,“通义千问”还有一个与“文心一言”的显著不同:“通义千问”当前并无多模态生成能力,也就是无法生成图像、视频等。

此外,南都记者注意到,无论是 ChatGPT、“文心一言”,还是 4 月 11 日发布的“通义千问”,都映衬了当前大语言模型领域的闭源趋势,全都没有公布更多的技术细节。

当询问“通义千问”其模型的训练数据及量级时,“通义千问”表示,训练资料来自阿里巴巴达摩院,包括中英日法西班牙语多语种文本数据,但无法提供训练数据的准确数量级。

“通义千问”也无法联网,在被问到北京的实时时间时,它表示自己不能进行额外的查询操作。

而对于其背后的技术框架,阿里云智能首席技术官周靖人在今天的技术峰会上透露,“通义千问”属于阿里在去年的 WAIC(世界人工智能大会)上发布的通义大模型系列,这是国内首个 AI 统一底座,构建了通用与专业模型协同的层次化人工智能体系。这一系列中的核心模型现均已开源。

采写:南都记者 杨博雯

原文链接:https://epaper.oeeee.com/ipaper/A/html/2023-06/23/content_10945.htm

正文完
 
不知道
版权声明:本站原创文章,由 不知道 2023-08-03发表,共计3362字。
转载说明:声明:本站内容均来自互联网,归原创作者所有,如有侵权必删除。 本站文章皆由CC-4.0协议发布,如无来源则为原创,转载请注明出处。