GPT-4强行降智?!OpenAI的“小九九”暴露

68次阅读

当人们在担心 GPT- 4 飞的太快时,出乎意料的事情发生了:GPT- 4 竟然被强行降智了!

人工智能秒变 ” 人工 智障 “, 到底发生了什么?

GPT- 4 强行降智?!OpenAI 的“小九九”暴露

这还要从一份论文说起~

该论文名为《ChatGPT 的行为是如何随时间变化的?》(How Is ChatGPT’s Behavior Changing over Time?),来自斯坦福大学及加州大学伯克利分校的研究人员。

论文评估了 GPT-3.5 和 GPT- 4 在 2023 年 3 月和 6 月的变化。

诡异的是 GPT-3.5 更智能了,但 GPT- 4 更 智障 了。

GPT- 4 强行降智?!OpenAI 的“小九九”暴露

首先,研究人员给出 500 个数学问题,GPT-3.5回答的准确率有了很大的提高,从 3 月份的 7.4% 提高到 6 月份的 86.8%,但GPT-4 的准确率却从 3 月的 97.6% 下降到 6 月的 2.4%。

GPT- 4 强行降智?!OpenAI 的“小九九”暴露

论文中还以其中一个问题进行了举例:“17077 是不是一个质数?”(科普:一个大于 1 的自然数,除了 1 和它自身外,不能被其他自然数整除的数叫做质数)

接下来,3 月版本的 GPT- 4 很好的遵循了思维链指令,首先将任务分解为四个步骤,检查 17077 是否为偶数,找到它的平方根,获取所有小于它的质数,检查 17077 是否能被其中的任何一个数整除。然后它执行每个步骤,最终得出正确的答案,即 17077 确实是质数。

而 6 月版本的 GPT- 4 完全没有生成任何中间步骤,只是简单粗暴的给出了一个错误答案“NO”。

对比之下,GPT-3.5 恰好相反,3 月版本的给出错误答案“NO”,6 月版本的给出合理解答思路并呈现了正确答案。

GPT- 4 强行降智?!OpenAI 的“小九九”暴露

相信你看到这里,很多人不免发出疑问:这不是见了鬼了嘛~

除了解决数学问题的能力之外,研究人员还在 回答敏感问题、代码生成、视觉推理,三个方面进行了测试。

其中 代码生成能力方面,GPT- 4 也表现出了明显的“降智”。

研究中通过 50 个相关问题的测试发现,GPT- 4 在 3 月份有 52.0% 的代码是可以直接执行的,在六月降至 10.0%。作者总结称:代码生成,更冗长,可执行的更少。

GPT- 4 强行降智?!OpenAI 的“小九九”暴露

回答敏感问题方面,GPT- 4 回答的概率下降了超四分之三,相应做出的解释也变少了。可以看出,GPT- 4 的实用性表现有所下降,但安全性得到提升。

GPT- 4 强行降智?!OpenAI 的“小九九”暴露

最后,视觉推理方面,整体来看变化不大。

GPT- 4 强行降智?!OpenAI 的“小九九”暴露

通过以上论文的介绍,不免让人质疑两个问题~

  • 论文的可信度如何?

  • 如果论文属实,降智的原因是什么?

首先,近期我们确实看到有很多用户吐槽 GPT- 4 变得“更懒”、“更笨”。

部分用户在 Twitter 和 OpenAI 在线开发者论坛上表示,问题包括逻辑弱化、错误响应增多、无法跟踪所提供的信息、难以遵循指令、忘记在基本软件代码中添加括号以及只记住最近的提示等。

甚至 Roblox 产品负责人 Peter Yang 在 Twitter 上也提到,该模型生成的输出速度更快,但质量较差。

另外,OpenAI 也在近期表示:“虽然大多数指标都得到了改善,但某些任务的性能可能会变得更差。”

从这里不难发现,论文中的问题也许所言非虚。

GPT- 4 强行降智?!OpenAI 的“小九九”暴露

那么最后的问题就在于,为什么会这样~

目前有这样几种猜测:

一切为了安全。一直以来,AI 的安全性都在面临着越来越严峻的考验,从版权到隐私保护等等,各国也纷纷表示将出台监管措施。因此,平台将逐渐加强产品的安全性,比如安全过滤器等措施导致模型逻辑受到影响,从而导致降智问题。

降低成本。大模型的高成本是显而易见的,为了解决这一问题,平台会简化决策,降低计算成本,这也会导致产品表现下滑的问题出现。

另外,还有用户怀疑与 OpenAI 对系统的重大重新设计有关。也有阴谋论认为是为了后续的收费增智,故意提前降智。

GPT- 4 强行降智?!OpenAI 的“小九九”暴露

作为行业翘楚的 ChatGPT,发布仅半年,就已经掀起了全球的 AI 浪潮。作为一股能够改变世界的力量,其诱惑力是谁也无法抗拒的。虽然这次“降智”引起了小小波澜,但未来 AI 的飞速发展将成为毋庸置疑的事实。

GPT- 4 强行降智?!OpenAI 的“小九九”暴露

最后,你认为最近 GPT- 4 为什么会变笨呢?欢迎发表您的高见~

举报 / 反馈

原文链接:https://baijiahao.baidu.com/s?id=1772021662629882665&wfr=spider&for=pc

正文完
 
不知道
版权声明:本站原创文章,由 不知道 2023-07-26发表,共计1636字。
转载说明:声明:本站内容均来自互联网,归原创作者所有,如有侵权必删除。 本站文章皆由CC-4.0协议发布,如无来源则为原创,转载请注明出处。