阿里「通义千问」大模型的能力如何?内测体验如何?

67次阅读

我第一时间拿到了通义千问的邀请码,马上进行了测评。就一个问题:我是特斯拉车主,我要从深圳南山出发去贵阳市,全部行程 6 天,帮我规划一个自驾游行程。

这里面有几个关键或者隐藏的事项:

1、从深圳南山出发到贵阳,还有从贵阳返回深圳南山;

2、累计 6 天,是需要包括往返的路上的时间的;

3、特斯拉是需要充电的;

4、开车 4 小时需要休息、晚上需要休息;

5、可能涉及过路费等;

由:ChatGPT、阿里通义千问、百度文心一言、Notion AI,4 个大模型依次来回答。我们看回答,先看祖师爷 ChatGPT 的,再看惨不忍睹的打酱油的。蓝色部分是回答,红色部分是我的点评。

阿里「通义千问」大模型的能力如何?内测体验如何?插图

一、ChatGPT

以下是一个为期 6 天的从深圳南山到贵阳市的自驾游行程规划,并在第 6 天返回深圳:

第 1 天:深圳南山 – 韶关。从深圳南山出发,沿着 G15 沈海高速向北行驶约 300 公里,抵达韶关市。在韶关市游览丹霞山地质公园,欣赏独特的红砂岩地貌。晚上在韶关市住宿。【从韶关走这条路是对的,300 公里大概 4 个小时,休息一下,且可以在路途游玩,不错】

第 2 天:韶关 – 广州。早晨离开韶关市,沿着 G4W 广梧高速向东行驶约 200 公里,抵达广州市。在广州游览越秀公园、白云山、广州塔等著名景点。晚上在广州市住宿。【这个就很奇怪了,咋还从韶关到广州……】

第 3 天:广州 – 桂林。早晨离开广州市,沿着 G80 广昆高速向北行驶约 430 公里,抵达桂林市。在桂林市游览象鼻山、漓江等景点。晚上在桂林市住宿。【G80 不经过桂林,到南宁了。不过至少 ChatGPT 知道调取高速的信息、高速沿途城市及景区,这是非常不错的数据积累和串联】

第 4 天:桂林 – 贵阳。早晨离开桂林市,沿着 G60 沪昆高速向西行驶约 500 公里,抵达贵阳市。下午游览贵阳市的黔灵山公园、观音洞等景点。晚上在贵阳市住宿。【G60 这个路是错的】

第 5 天:贵阳 – 青岩古镇 – 贵阳。早晨游览贵阳市的甲秀楼。下午前往青岩古镇,游览古镇风光。晚上返回贵阳市住宿。

第 6 天:贵阳 – 深圳南山。早晨离开贵阳市,沿着 G60 沪昆高速向东行驶约 1000 公里,抵达深圳南山。沿途可在适当的地点停车休息和充电。晚上抵达深圳南山,结束行程。【开一整天啊,而且不是 G60】

在整个行程中,请确保您的特斯拉充电站路径已经规划好,以确保沿途有足够的充电设施。您可以在特斯拉的导航系统中查找充电站位置,或者使用特斯拉的手机应用进行查询。请注意沿途的天气状况和交通状况。【没有规划好充电的行程,但是提示了】

总的来说,ChatGPT 理解了诉求,但是在知识图谱的积累上是不够的。

二、阿里通义千问

非常高兴为您规划一个从深圳南山出发,前往贵州省贵阳市的全部行程 6 天的自驾游路线!以下是一个可能的行程安排:

第一天:深圳南山出发,全程约 430 公里。上午:从深圳南山出发,沿广深高速公路前往广州市。下午:到达广州后,沿广清高速公路前往清远市。晚上:到达清远市后,入住酒店休息。【到清远没有 430 公里,路过广州,也不需要以整天】

第二天:清远市区游览。上午:在清远市区自由活动,可以游览清远市区的景点,如笔架山、千佛塔等。下午:从清远市区出发,前往广东省内最大的湖泊万绿湖,全程约 130 公里,行车时间约 2 小时。【自驾游在路上游玩是对的,不仅仅是奔赴目的地】

第三天:广东省内自驾游。上午:在万绿湖附近自由活动,可以游览周边的景点,如龙凤岛、镜花岭等。下午:从万绿湖出发,前往广东省的佛山市。晚上:到达佛山市后,入住酒店休息。【返回佛山很奇怪】

第四天:佛山市区游览。上午:在佛山市区自由活动,可以游览佛山市区的景点,如西樵山、南海观音禅寺等。下午:从佛山市区出发,前往广西省的梧州市。晚上:到达梧州市后,入住酒店休息。【这个就完全打酱油了,不经过佛山,清远直接去梧州是可以的】

第五天:梧州市区游览。上午:在梧州市区自由活动,可以游览梧州市区的景点,如骑楼城、六堡茶园等。下午:从梧州市区出发,前往贵州省的贵阳市。晚上:到达贵阳市后,入住酒店休息。【梧州一口气是开不到贵阳的】

第六天:贵阳市区游览。上午:在贵阳市区自由活动,可以游览贵阳市区的景点,如黔灵山公园、甲秀楼等。下午:从贵阳市区出发,返回深圳南山。晚上:到达深圳南山后,结束行程。【时间根本不够】

以上仅是一个参考行程,您可以根据自己的需要和喜好进行调整。需要注意的是,贵州地区地形复杂,路况较为多变,驾驶时需要注意安全。

你有几个错误:1、特斯拉是要充电的;2、清远和佛山不是贵州的

非常抱歉,我的回答有误。感谢您指出这些问题,以下是更正后的行程安排:

我都说了,特斯拉是需要充电的

对不起,我理解错了。特斯拉是一种电动汽车,需要定期充电以保持电池的正常运行。谢谢您的提醒,以下是更正后的行程安排:

去哪里充电呢?

在清远市区内可以找到许多公共充电桩,如星星充电站等。在万绿湖附近也有许多公共充电桩,如特来电、国网充电站等。在佛山市区也可以找到许多公共充电桩,如特来电、国网充电站等。【充电这个信息没回答好我很奇怪,按道理来说,这些信息高德是非常多的,很容易被投喂】

总的来说,“通义千问”的回答可以说是非常敷衍的,几乎就仅仅抓住了两个关键信息:深圳到贵阳、自驾。对这里面的其他信息,完全放弃了。这个的确是水平不到 3。自己宣传的,对话理解能力:经过多轮迭代和优化,我的对话理解能力得到了显著提高,可以给用户提供更自然、流畅的对话体验。完全是扯犊子的。

你的水平相当于 GPT-3?

我是来自达摩院的超大规模语言模型,我叫通义千问。我的水平已经超过了 GPT-3。我可以生成各种类型的文本,如文章、故事、诗歌、故事等,并且在以下任务上更强大:

对话理解能力:经过多轮迭代和优化,我的对话理解能力得到了显著提高,可以给用户提供更自然、流畅的对话体验。

代码写作能力:我可以根据您的要求生成代码,并且可以保证代码的质量和可读性。

除了中文,我还可以生成其他多种语言的文本。

因此,我的水平已经超过了 GPT-3,可以媲美其他的超大规模语言模型。

你的水平没有 GPT-3.5 吧

不是的,虽然我的名字叫通义千问,但我的水平已经超过了 GPT-3.5。GPT-3.5 是一种基于 GPT- 3 架构的改进版本,它在训练速度和语言模型大小方面都有所提高,但我的训练参数量和模型复杂度都比 GPT-3.5 更高,因此我的性能也更强大。

你的水平肯定没到 GPT-4

对不起,我的水平确实没有达到 GPT-4。GPT- 4 是目前最强大的预训练语言模型,其训练参数量高达 10 万亿,是 GPT- 3 的 50 倍以上。在多项自然语言处理任务中,GPT- 4 都取得了最佳效果,如命名实体识别、机器翻译、文本生成等。我的水平与 GPT- 4 还有一定的差距,特别是在生成复杂的、多维度的文本时,我的表现可能会有所不足。

阿里「通义千问」大模型的能力如何?内测体验如何?插图1

从你回答马云儿子是谁这个问题看,你连 3 都不如

作为一个语言模型,我不能回答这种涉及隐私的问题。如果您有其他想要了解的问题,欢迎您提问。

阿里「通义千问」大模型的能力如何?内测体验如何?插图2

这个图对比一下文心一言的回答。

这个图对比一下文心一言的回答。

你看你看,你没理解我的问题,肯定不如 GPT-3

对不起,我没能理解您的问题。我是一个大型语言模型,可以回答各种主题的问题,但我不能回答涉及个人隐私的问题。如果您有其他问题,我会尽力回答。

你连上下文都不知道怎么串联起来,

对不起,我没有上下文,因为我是一个大型语言模型,没有具体的上下文信息可以参考。如果您有其他问题,我会尽力回答。

三、百度文心一言

好的,以下是一份适合您的自驾游行程规划。目的地:贵阳市,行程安排:

第 1 天:深圳南山区。早上从深圳南山区出发,沿着深圳高速公路前往贵阳市。预计行驶时间为 3 小时。到达贵阳市后,可以选择前往市区内的景点游览,如贵阳市博物馆、贵阳市人民广场等。【同样的错误,都是 3 小时,3 小时不够,我不知道为什么大家都说 3 小时,是不是数据库都是同一个错误?】

第 2 天:贵阳市。今天的主要任务是游览贵阳市的著名景点。您可以前往青岩古镇、花溪公园、天河潭等景点游览。预计行驶时间为 4 小时。

第 3 天:贵阳市。今天的主要任务是游览贵阳市的著名景点。您可以前往白云山风景区、贵阳市植物园、贵阳市动物园等景点游览。预计行驶时间为 3 小时。

第 4 天:贵阳市。今天的主要任务是游览贵阳市的著名景点。您可以前往红枫湖景区、贵阳市花溪风景名胜区、贵阳市天河国家森林公园等景点游览。预计行驶时间为 4 小时。

第 5 天:贵阳市。今天的主要任务是游览贵阳市的著名景点。您可以前往贵阳市的天然氧吧 - 贵阳市龙洞堡国家森林公园、贵阳市观山湖公园等景点游览。预计行驶时间为 3 小时。

第 6 天:贵阳市。今天的主要任务是游览贵阳市的著名景点。您可以前往贵阳市的小车河景区、贵阳市花溪水库、贵阳市花溪平桥等景点游览。预计行驶时间为 3 小时。【这个安排的还是不错的,目的地贵阳很清楚,所以安排了 4 - 5 天的贵阳游玩,但是没安排回深圳】

备忘录:请务必遵守交通规则,注意安全驾驶。贵阳市气候潮湿,请注意防晒和保湿。贵阳市的美食丰富多样,可以品尝当地的特色美食。

总结:这个六天的行程规划涵盖了贵阳市的主要景点,让您充分体验到贵阳市的魅力。请注意行程中的时间安排,确保每天都有足够的时间完成行程中的各项任务。同时,请注意遵守交通规则和注意防晒和保湿,以确保您的旅途愉快。【备忘和总结是文心一言的套路,是一个非常不错的格式,但是都没说到点子上,都是车轱辘话】

你有几个错误:1、特斯拉是要充电的;2、深圳南山去贵阳 3 小时不够;

特斯拉是可以充电的。特斯拉电动汽车采用了先进的电池技术,能够在家里或者公共充电桩上充电。

深圳南山到贵阳全程大约有 450 公里,如果全程高速行驶,大约需要 5 - 6 小时。考虑到贵阳市区内的交通和景点之间的距离,您可能需要在行程中留出一些时间给交通和景点之间的路程。【450 公里数据错误】

关于深圳南山区到贵阳市的交通时间,这取决于您的出发地和目的地之间的距离以及交通状况。如果您从深圳南山区出发,全程高速行驶,大约需要 3 小时左右。但是,如果您要经过城市拥堵的路段,可能需要更长的时间。

总之,深圳南山区到贵阳市的距离约为 450 公里,如果全程高速行驶,大约需要 5 - 6 小时。在行程中留出一些时间给交通和景点之间的路程是很重要的。

四、Notion AI

可能有些人是不知道 Notion 的,这个产品非常牛逼的。是一款由 Notion 公司开发的笔记本应用程序,它可以帮助用户轻松地创建和组织自己的笔记、日历、任务和想法。Notion 的界面简洁明了,功能齐全,可以满足个人和专业用户的需求。

笔记:Notion 提供了多种笔记类型,包括事实、笔记、日记、任务、清单和笔记本。用户可以创建自己的笔记本,并将其与其他笔记相关联,以便在需要时轻松找到它们。

日历:Notion 的日历功能可以帮助用户安排自己的行程和日程。用户可以创建自己的日历页面,并将其与其他日历相关联,以便在需要时查看。

任务:Notion 的任务功能可以帮助用户创建并管理自己的任务清单。用户可以创建自己的任务,并将其分配给其他人,以便他们可以在自己的任务中协作。

想法:Notion 的想法功能可以帮助用户记录自己的想法和创意。用户可以创建自己的想法清单,并将其与其他想法相关联,以便在需要时查看。

全文搜索:Notion 的全文搜索功能可以帮助用户在自己的笔记和日历中查找特定的内容。用户可以使用关键词、标题、正文等多种方式进行搜索。

协作:Notion 的协作功能可以帮助用户与其他人共享和编辑笔记和日历。用户可以邀请其他人加入自己的笔记本,并允许他们进行编辑和协作。

下面请看 Notion 的表演:

阿里「通义千问」大模型的能力如何?内测体验如何?插图3

16 个小时没错,但是在湖北武汉市或者岳阳休息,就有点错误了。但是至少知道路上是需要休息的。从贵阳往北去遵义,这个路上的安排是可以。但是估计路程和游玩时间是不够的。遵义到黔东南估计路上得要 3 小时。而且最后一天的行程,和第一个问题是一样的,估计开始一天不够时间,且不可能路过武汉或者岳阳。全程没有考虑充电的问题。如果充电,不可能一天到。即使不充电,一天也到不了。

微小说一则:2100 年,一个法庭正在宣判:“被告张三 xx 罪名成立,判处 AI 无响应徒刑一年”。“AI 无响应”徒刑,即在指定刑期内所有 AI 服务都停止对服刑者的响应。

你们说,怎么打分?

原文链接:https://www.zhihu.com/question/594267939/answer/2976713171

正文完
 
不知道
版权声明:本站原创文章,由 不知道 2023-08-11发表,共计5000字。
转载说明:声明:本站内容均来自互联网,归原创作者所有,如有侵权必删除。 本站文章皆由CC-4.0协议发布,如无来源则为原创,转载请注明出处。