“比克索尼马尼亚”：欺骗人工智能的虚假疾病

一项实验突显了人工智能语言模型在面对虚假信息时的脆弱性，该实验创建了一种不存在的疾病“比克索尼马尼亚”。研究员阿尔米拉·奥斯马诺维奇·图恩斯特伦在2024年创建了一个虚假的医疗叙述，该叙述被Copilot和ChatGPT等聊天机器人复制。

“比克索尼马尼亚”最初出现在帖子和预印本中，其中包含虚假的研究和不存在的研究人员。尽管存在欺诈迹象，但聊天机器人仍将“比克索尼马尼亚”描述为一种真实的眼科疾病。

哈佛医学院的马哈茂德·奥马尔等专家指出，当内容以医学风格编写时，人工智能模型更容易得出错误的结论。伦敦大学学院的亚历克斯·鲁阿尼认为，该实验揭示了知识生产可靠性方面的一个严重问题。

“比克索尼马尼亚”甚至在Cureus发表的一篇科学文章中被提及，但后来被撤回。微生物学家伊丽莎白·比克警告说，由于数据处理的自动化，这种现象可能会扩大。

谷歌和OpenAI等公司的代表表示，他们的模型已经得到改进，但哈佛法学院的格伦·科恩指出，关于对此类系统的信任仍然存在疑问。

该案例突显了人工智能复制未经证实的医疗数据的风险，并提出了在将真相作为知识呈现之前对其进行控制的问题。