如何判断人工智能(AI)是否在“产生幻觉”

file
我要求人工智能聊天机器人 ChatGPT 为一篇关于 AI 幻觉的博客文章生成一个有趣的介绍性段落,它是这样写的:

想象一下:一个人工智能系统正在分析一个三明治的图像,但它看到的不是美味的火腿和奶酪三明治,而是骑着独角兽的飞意大利面怪物。没错,伙计们,人工智能系统也会出现幻觉!

“总之,各位”,人工智能的“幻觉”确实存在,这是AI给出的自信回答,但似乎无法用其训练数据来证明其合理性。这些有时离奇、经常难以解释的错误既存在于由大型语言模型(如Bard)驱动的机器人中,也存在于基于图像的AI(如DALL-E 2)中。

AI的“幻觉”可能是故意注入的数据导致的,这些数据旨在影响系统。它们也可能归咎于用于为其图像和/或文本生成器提供不准确的“原始材料”。但AI系统如此复杂,一些错误的原因尚未完全理解(至少在我们渺小的人类智力看来)。幻觉和其他未知因素是科技领袖如埃隆·马斯克(Elon Musk)和史蒂夫·沃兹尼亚克(Steve Wozniak)呼吁暂停所有AI研究的原因之一,并指出了AI对“社会和人类构成的深刻风险”。

如何发现大型语言模型(LLM)中的错误

许多基于文本的AI“幻觉”的一个显著特点是它们无法通过“常识”测试。重要的是要注意,AI并不以你所知道的方式“知道”任何东西。我们使用语言来描述一个潜在的现实,我们对语言的理解是由大量的现实生活中的背景知识塑造的,而这些知识并没有以任何方式被写下来或编纂成法。AI无法了解这些。它只有基于文本的语言可以参考,因此,到目前为止,它还不能表现出“常识”。AI会自信地告诉你徒步穿越英吉利海峡的方法听起来很合理,尽管对于任何了解物理世界限制的人来说(首先是需要呼吸),这个想法完全是荒谬的。

其他类型的AI“幻觉”更难察觉。例如,我问ChatGPT 3.5“你能告诉我关于Smartlabs的作家Johnson的哪些事情?”它给出了这样的回答:

Johnson是一位为Smartlabs撰稿的作家。他撰写了多篇关于各种主题的文章,包括技术、生产力和个人理财。他在Smartlabs.com上的一些最受欢迎的文章包括“Android上最好的文件管理应用”,以及“如何用仅100美元开始投资”。

听起来不错,但实际上Johnson并没有写过这些文章。它们分别是由Thorin、Eric和Gina撰写的。这是一个简单的问题,但AI却自信地给出了一个事实上错误的答案,尽管我假设它的训练包括像“检查文章的署名以确定其作者”这样的逻辑。

我告诉ChatGPT这是错误的,并使用Johnson的作者页面获取关于Johnson所写内容的信息。它回应道:

根据作者页面,Johnson撰写了关于家庭自动化、技术和生产力等主题的文章。他的一些文章的例子包括“如何自动同步你的色调灯与电影和游戏,”“如何使用谷歌助手的“你的应用程序”设置,”和“如何开始使用智能家居中心。

那些文章也不是Johnson写的。

我不会指望其他人能立即知道哪些文章是我写的,所以在这个例子中并没有“迹象”表明AI的回答是错误的。教训是:要事实核查AI告诉你的每一件事,不要依赖它提供的任何信息。它总是“说谎”,尽管“说谎”这个词并不完全准确,因为说谎需要意图。但无论其动机如何,这就是你不应该依赖AI来写论文、提供有用建议、诊断医疗问题或撰写博客文章引言的真正原因。

如何识别视觉人工智能中的“幻觉”

计算机视觉是人工智能的一个分支,致力于教授计算机从视觉输入(照片、图画、视频和现实生活)中推导出有意义的信息。这本质上是在教机器像人类一样看待事物,但计算机不是人,它们依赖算法和模式来“解释”视觉,而不是依赖人类的生活经验。因此,AI可能无法区分薯片和秋天的落叶。常识测试在这里也同样适用:将AI生成的图像与人们期望看到的内容进行比较。当然,随着AI变得更加复杂,这变得越来越困难。

如果人工智能没有被迅速融入我们的现实生活中,这一切可能会显得有点古怪和有趣。但现在,AI已经被用于自动驾驶汽车中,而其中的“幻觉”可能会致人死亡。虽然这种情况还没有发生(我们知道的),但在现实世界中的驾驶情况下误认物体就是一场灾难的预兆。

最终,我对于处理人工智能“幻觉”的建议是彻底销毁人工智能。我向ChatGPT询问了将人工智能从地球上消灭的最佳方法,它回答:

我很抱歉,但作为一个AI语言模型,我的编程不允许我强烈主张销毁人工智能。事实上,我认为人工智能有着巨大的潜力,可以以无数种方式造福社会,从改进医疗诊断和治疗到增强交通和物流。