OpenAI震撼研究:用GPT-4解释30万神经元,原来AI的黑盒要AI自己去打开

72次阅读

没想到,打开 AI 黑盒这件事,可能还要靠 AI 自己来实现了。

OpenAI 的最新研究来了一波大胆尝试:

让 GPT- 4 去解释 GPT- 2 的行为模式。

结果显示,超过 1000 个神经元的解释得分在 0.8 以上——也就是说 GPT- 4 能理解这些神经元。

OpenAI震撼研究:用GPT-4解释30万神经元,原来AI的黑盒要AI自己去打开插图

要知道,“AI 黑箱难题”长期以来是一个热议话题,尤其是大语言模型领域,人类对其内部工作原理的理解还非常有限,这种“不透明化”也进一步引发了人类对 AI 的诸多担忧。

目前推进 AI 可解释性研究的一个简单办法,就是逐个分析大模型中的神经元,手动检查 以确定它们各自所代表的数据特征。

但对于规模已经达到百亿、千亿级别的大规模神经网络来说,工作量和工作难度就都涨了 亿点点 吧。

由此,OpenAI 的研究人员想到,干嘛不让 AI 去自动化搞定这个大工程?

OpenAI震撼研究:用GPT-4解释30万神经元,原来AI的黑盒要AI自己去打开插图1

在这项最新的研究中,他们将 GPT- 4 打造成了一个理解 AI 行为模式的工具,把 GPT- 2 超过 30 万个神经单元都解释了一遍,并和实际情况比对进行评分。

最终生成的解释数据集和工具代码,已对外开源

研究人员表示:未来,这种 AI 工具可能在改善 LLM 性能上发挥巨大作用,比如减少 AI 偏见和有害输出。

解释接近人类水平

具体来看,整个研究的步骤可以分为三步。

第一步,先给 GPT- 4 一段文本,并展示 GPT- 2 在理解这段文本时激活的神经元情况。

然后让 GPT- 4 来解释,这段文本中神经元的激活情况。

OpenAI震撼研究:用GPT-4解释30万神经元,原来AI的黑盒要AI自己去打开插图2

比如示例中给出了一段漫威复联的文本,GPT- 4 分析的激活神经元为:

电影、角色和娱乐

第二步,让 GPT- 4 开始模拟,这些被解释的神经元接下来会做什么。

GPT- 4 给出了一段内容。

OpenAI震撼研究:用GPT-4解释30万神经元,原来AI的黑盒要AI自己去打开插图3

第三步,让 GPT- 2 真实的神经元激活来生成结果,然后和 GPT- 4 模拟的结果进行比对,研究人员会对此打分。

OpenAI震撼研究:用GPT-4解释30万神经元,原来AI的黑盒要AI自己去打开插图4

在博客给出的示例中,GPT- 4 的得分为 0.34.

使用这个办法,研究人员让 GPT- 4 解释了 GPT- 2 一共 307200 个神经元。

OpenAI 表示,使用这一基准,AI 解释的分数能接近人类水平。

从总体结果来看,GPT- 4 在少数情况下的解释得分很高,在 0.8 分以上。

OpenAI震撼研究:用GPT-4解释30万神经元,原来AI的黑盒要AI自己去打开插图5

他们还发现,不同层神经元被激活的情况,更高层的会更抽象。

OpenAI震撼研究:用GPT-4解释30万神经元,原来AI的黑盒要AI自己去打开插图6

此外,团队还总结了如下几点结论:

  • 如果让 GPT- 4 重复解释,它的得分能更高

  • 如果使用更强大的模型来解释,得分也会上升

  • 用不同的激活函数训练模型,能提高解释分数

总结来看就是,虽然 GPT- 4 目前的表现一般,但是这个方法和思路的提升空间还有很大。

团队也强调,现在在 GPT- 2 上的表现都不太好,如果换成更大、更复杂的模型,表现也会比较堪忧。

同时这种模式也能适用于联网的 LLM,研究人员认为可以通过简单调整,来弄清楚神经元如何决策搜索内容和访问的网站。

此外他们还表示,在创建这个解释系统时并没有考虑商业化问题,理论上除了 GPT-4,其他 LLM 也能实现类似效果。

接下来,他们打算解决研究中的这几个问题:

  • AI 神经元行为十分复杂,但 GPT- 4 给的解释非常简单,所以有些复杂行为还无法解释;

  • 希望最终自动找到并解释复杂的整个神经回路,神经元和注意力头一起工作;

  • 目前只解释了神经元的行为,但没解释行为背后的机制;

  • 整个过程算力消耗巨大。

网友:快进到 AI 创造 AI

意料之中,这项研究马上在网络上引发热议。

大家的脑洞画风 be like:“AI 教人类理解 AI。”

OpenAI震撼研究:用GPT-4解释30万神经元,原来AI的黑盒要AI自己去打开插图7

“AI 教人类关掉 AI 中存在风险的神经元。”

OpenAI震撼研究:用GPT-4解释30万神经元,原来AI的黑盒要AI自己去打开插图8

还有人开始畅想,AI 理解 AI 会快速发展为 AI 训练 AI(已经开始了),然后再过不久就是 AI 创造新的 AI 了。

OpenAI震撼研究:用GPT-4解释30万神经元,原来AI的黑盒要AI自己去打开插图9

当然这也引发了不少担忧,毕竟 GPT- 4 本身不还是个黑盒嘛。

人类拿着自己不理解的东西,让它解释另一个自己不理解的东西,这个风险 emm……

OpenAI震撼研究:用GPT-4解释30万神经元,原来AI的黑盒要AI自己去打开插图10

这项研究由 OpenAI 负责对齐的团队提出。

他们表示,这部分工作是他们对齐研究的第三大支柱的一部分:

我们想要实现自动化对齐。这种想法一个值得思考的方面是,它可能随着 AI 的发展而扩展更多。随着未来 AI 模型变得越来越智能,我们也能找到对 AI 更好的解释。

论文地址:

https://openaipublic.blob.core.windows.net/neuron-explainer/paper/index.html

参考链接:

[1]https://openai.com/research/language-models-can-explain-neurons-in-language-models

[2]https://www.globalvillagespace.com/tech/openais-tool-explains-language-model-behavior/

原文链接:https://www.bilibili.com/read/cv23658905

正文完
 
不知道
版权声明:本站原创文章,由 不知道 2023-08-07发表,共计1887字。
转载说明:声明:本站内容均来自互联网,归原创作者所有,如有侵权必删除。 本站文章皆由CC-4.0协议发布,如无来源则为原创,转载请注明出处。