语言AI原来知道自己的回答是否正确！伯克利等高

语言AI，具备了人类的自我审视能力：

最后，研究团队对语言AI模型提出了一个更难的问题：AI模型经过训练，能否预测他们是否知道任何给定问题的答案。

研究成果一经发布，就引起热议，有人的第一反应是恐慌：

如果在选项中加入一个“以上都不是”的不确定选项，就会损害语言AI的校准能力。

为了证明这个问题，研究团队为AI准备了5个选择题：

量子位 | 公众号 QbitAI

参考链接：

但研究团队发现，语言AI的校准能力，是建立在选项答案明确的前提下的。

在这一轮的测试中，为了能让AI模型的预测更接近自己的有效决策边界。

研究团队仍然选择上一轮测试的问题，以及语言AI模型的答案样本。

在经过20次的真假测试之后，研究团队发现，语言AI模型对自己答案或“真”或“假”的评价，都经过明显的校准。

量子位 QbitAI · 头条号签约

论文通讯作者Jared Kaplan博士，是一位理论物理学家，同时也是一位机器学习专家，现担任霍普金斯大学助理教授，主要研究领域，机器学习研究，包括神经模型的缩放规律以及GPT-3语言模型。

也就是说，如果在一个范围内，给AI模型提出若干问题，然后AI模型对这些问题的答案进行真假评价，具有合理的，且经过校准的置信度。

同时让AI模型选择自己的答案真假与否，之后再针对这个“真”或“假”的答案，分析AI模型是否做出有效的校准。

也有人认为，这项成果，对神经网络研究具有正面意义：

在这一环节，研究团引入一个数据P(IK)（我知道这个答案的概率）并在下面两种训练方式中挑选一种进行训练：

对于这一学术成果，研究团队表示，将来的方向，是将这些成果，推广到语言AI模型不模仿人类文本的前提下，自我学习和事实推理领域。

只有这样语言AI才可以运用这种校准的能力来评估自己输出的答案是否正确。

在训练初期，研究团队比较倾向于自然语言训练方式，但结果并不显著，由此转向价值导向方式，不过研究团队同时表示，最终对AI模型的训练还将回归自然语言方法。

语言AI回答问题时，会校准自己的答案。

不过，研究团队也发现，在某些类型的问题，比如算术问题，语言AI模型在OOD校准时有一些困难。

最近，一个来自加州大学伯克利分校和霍普金斯大学的学术团队研究表明：

问题设置举例如下：

万博 发自 凹非寺

完 —