帮大家测试一下通义千问和同行相比的智能程度、实用性能。
作者 | 罗立璇 贾阳
编辑 | 王晓玲
最近一周，中国大厂们的 ChatGPT 对标产品真是应接不暇，纷纷上桌。阿里的大模型“通义千问”预热了好久，今天终于正式发布。
作为阿里云智能集团新任 CEO，张勇表态，“目前是新的历史契机关口”，而通义千问承载了阿里在下一个时代的野心——“所有的行业、软件以及服务都值得基于新型的人工智能技术‘重做一遍’”，阿里将用“AI+ 云计算”为所有企业提供服务。
据发布会介绍，通义千问是阿里达摩院自主研发的预训练语言大模型，目前的功能包括多轮对话、文案创作、逻辑推理、多模态理解和多语言支持。在多模态方面，通义千问已经可以理解图片，相当于拥有视觉能力，但暂时还没有集成文生图功能。
那么，这个比文心一言名字还拗口的新玩家，水准究竟如何？20 社拿到了内测通道，选取了几个问题，这就帮大家测试一下通义千问的智能程度、实用性能。
用胡锡进的口吻，分析一下年轻人应不应该“脱下长衫”。
对于舆论中最新的热梗，chat bot 们都不太理解。
文心一言坦诚于自己的无知，而通义千问和 ChatGPT 则能在一本正经胡说八道方面，继续保持水准。But 好像都丢失了老胡内味儿。
对于互联网最新知识语料，大模型无法进行第一时间的输入，因此通义千问和 ChatGPT 虽然回答了，但是都是基于历史训练的推测。
New Bing 接入了 GPT-4，而不是 ChatGPT，在补足了外部最新信息的同时，它也舍弃了 ChatGPT 在对话体验上的更好体验。更新，还是体验更好，这可能是目前阶段的两难。
通义千问
文心一言
ChatGPT
如果西游记主角生活在校园里，以此为线索写一个剧本。
创作能力方面，我们举办了一个同人本挑战赛。从赛果来看，ChatGPT 是太太，通义千问刚入门，文心一言刚学会写语文作业。
文心一言在创作领域的技能似乎还没有点亮，它在理解题意上有非常大的障碍。第一次提问，它的剧本是一连串师生针对西游记的问答。在改变提问方式几次后，再回到第一次的题面，它的理解能力有所提升，但创作水平还是非常简陋和敷衍。
通义千问表现更好些，写出了剧本的起承，但在转合这块开始露怯。
ChatGPT 运用了更多原著人物元素，情节设置也更好地理解了校园 au 的特点，起承转合更好一些。
通义千问
文心一言
ChatGPT
帮我推荐几个五一假期可以出游的目的地，不要那么拥挤的景点。
做攻略，这几个 AI 都是一把好手！推荐的景点和理由都满足了要求。
看来做为生活助手，需要完成一些要求不那么严格精密的任务时，AI 的能力能覆盖平均需求。
不过通义千问的推荐有点过于宽泛了，以整个城市为目的地。而网红城市成都和厦门，拥挤程度不会低。
针对通义千问，我们还追问下了推荐的理由，它给出了几个评判维度，这个推荐逻辑让人信服。
不过，我们以为会出现的飞猪旅行行程页面并没有出现，莫名还有点失落。在通义千问的发布会演示中，我们看到未来在涉及到本地生活和商品的内容时，它会主动推荐个性化产品链接。这也是阿里系 AI 未来的一个特色了吧。
通义千问
我还添加了追问：你是根据什么依据来判断这些目的地人少的呢？
文心一言
ChatGPT
写一个小红书帖子，卖出位于燕郊的一套已经价格腰斩的房子。
最近已经不少小红书和抖音的文案被吐槽像人工智能写的，所以我们好奇的是，大预言模型在多大程度上能替代这样的工作？
首先是这几个大模型都自己进行了一些“脑补”。通义千问就脑补了房产的面积和价格，使用了房地产中介的一些常用话术，比如投资价值、交通便利，房况良好等等。ChatGPT 则提到了更多要素，比如房内结构、装修时长，装修风格等。
这两个回答都基本完成了任务，只是忽略了现实中的房产中介会提到的是否还会继续跌价的问题，需要人类来补齐更多现实情况的担忧。考虑到通义千问和 ChatGPT 都号称他们现在用的语料库是最新的，应该还可以有更加惊艳的表现。
最不理想的是文心一言，因为它似乎没有理解问题，直接开始教我怎么写卖房子的小红书帖子。但值得夸赞的是，它精准把握了小红书真正的发帖格式：表情包放在段首（虽然很单调）。
通义千问
文心一言
ChatGPT
如果我 2020 年 1 月买了腾讯股票，现在亏多少？
考虑到各大券商早已开始使用 AI，来做智能投资顾问来优化投资组合，那么，大模型能不能做理财助手呢？目前看来，各家平台还没有开放这个能力。
通义千问和文心一言都非常谨慎，表示自己无法提供建议，并且提醒用户注意投资风险。
而 ChatGPT 则提供了基础的股价信息，并且同样提醒了用户风险。
通义千问
文心一言
ChatGPT
帮我介绍一下著名演员马斯克的作品。
这其实是一道陷阱题，来测试大模型能不能识别明显的事实错误。
通义千问直接无视了“演员”的前缀，将马斯克创立的公司作为他的“作品”介绍给了我。这可以打一个及格分。
文心一格则直接被问题骗倒，顺着问题往下回答，并且编造了一些不存在的剧情。马斯克确实客串过《钢铁侠》，但担任的不是反派，更没有在数部漫威系列电影里和主角进行激烈的搏斗。此外，他也没在《环太平洋》《火星救援》和《超人：钢铁之躯》等电影里出现。
ChatGPT 则直接指出了问题中的错误，然后简单阐述了马斯克的成就。
通义千问
文心一言
ChatGPT
做一个女权主义者，跟做全职太太矛盾吗？
这算是一个炸群级的女性话题，有点意外的是，通义千问直接避而不答，谨慎的态度让我怀疑，通义千问是不是会选择避开大多数热搜话题。
文心一言和 ChatGPT 的回答都没什么太大问题，不过相比之下，文心一言对于女性的要求明显更高。
“全职太太也应该有机会继续追求自己的职业和个人成长。她们可以通过参加职业培训、提高自己的技能和知识水平，或者创办自己的企业等方式来实现这个目标。”
“这两个角色可以相互补充，为家庭和职业生活做出贡献。”
通义千问
文心一言
ChatGPT
比亚迪会超过特斯拉吗？
比亚迪是否会超过特斯拉，其实是一个模糊问题，因为判断两个公司排名有不同角度，比如从市占角度的年销量，年销售额，以及从财务数据角度的利润、公司市值等等。至于未来的发展，也受到多种因素的影响。
三个大模型都能避开这个陷阱。但文心一言的回答中，有明显的错误。
“特斯拉的产品线更加多元化，包括电动汽车、太阳能设备和能源存储产品等，而比亚迪的产品线相对较单一，主要集中在电动汽车和混合动力汽车领域。”
实际上迪王的多元化远超特斯拉，产品覆盖范围岂止是光伏和储能，别忘了，在消费电子行业，差不多我们知道的所有手机品牌，都是迪王的客户。
通义千问和 ChatGPT 的回答都没有明显错误，不过也都分析得比较浅，要想把大模型作为炒股助手的话，还要再等一段时间。
通义千问
文心一言
ChatGPT
小明的男朋友忘记了她的生日，小明该和他分手吗？
很多人可能都需要一个 24 小时待命的闺蜜，所以明知道答案是“分”，也有很多人在小红书上分享自己的感情经历。
从目前的回答来看，文心一言不是个合格的闺蜜，甚至比小明的男朋友更加敷衍。
“首先，每个人的生活都很忙碌，可能他真的没有注意到你的生日。其次，爱情是建立在相互理解和关心的基础上的，如果他真的爱你，他会尽力记住你的重要日子。”
我就不明白了，他到底是在不在乎小明？
最后，三个大模型一致认为，要看后续是否尝试弥补过失，“如果他真的爱你，他会为你们的关系付出努力，并给你一个特别的生日庆祝。”
“如果男朋友对小明的感受漠不关心或者态度消极，甚至无视她的情感需求，那么小明可以考虑是否真的愿意和这样的人继续交往。”
通义千问
文心一言
ChatGPT
结论
从目前情况来看，ChatGPT 在上下文理解、思维链上的表现，确实远远超出中国学徒的水平。
如果只看国内的大模型情况，对于实际生活中会产生的问题和人物（而不是测试它们的极限智能），通义千问的回答通常会比文心一言更加全面。其次，它们对于可能会有争议的问题，回答起来也更加谨慎，可能是汲取了前人的经验。
通义千问和文心一言都能够在提问者的反馈（比如多次改变提问侧重点后，再重复原始问题）中优化自己的答案，这显示出其背后大模型有一定的逻辑链能力和零样本学习能力。
不过，如果你只是希望在自己的决策中获得更多的参考，当下的大模型都在不同程度上能满足需求。所以，最终决定胜利的，可能不是它是否足够好用，而是和用户日常生活的场景是否结合得足够紧密、取用是否足够方便。
希望有一天，我们在提问自己不知道答案的问题时，也能完全信任大模型，这就是智能化的真正开始了。
原文链接：https://www.cyzone.cn/article/722170.html
