"Биксонимания": фейковая болезнь, обманувшая искусственный интеллект

Эксперимент выявил уязвимость языковых моделей ИИ к дезинформации, создав несуществующую болезнь «биксонимания». Исследовательница Альмира Османович Тунстрём создала фейковый медицинский нарратив в 2024 году, который был воспроизведен чат-ботами, такими как Copilot и ChatGPT.

«Биксонимания» первоначально появилась в постах и ​​препринтах с поддельными исследованиями и несуществующими исследователями. Несмотря на признаки мошенничества, чат-боты представили «биксониманию» как реальное офтальмологическое заболевание.

Эксперты, такие как Махмуд Омар из Гарвардской медицинской школы, отмечают, что модели ИИ более уязвимы для ложных выводов, когда контент написан в медицинском стиле. Алекс Руани из Университетского колледжа Лондона считает, что эксперимент выявляет серьезную проблему в надежности производства знаний.

«Биксонимания» даже упоминалась в научной статье, опубликованной в Cureus, которая впоследствии была отозвана. Микробиолог Элизабет Бик предупреждает о масштабах, которые это явление может принять из-за автоматизированной обработки данных.

Представители таких компаний, как Google и OpenAI, заявили, что их модели были улучшены, но Гленн Коэн из Гарвардской юридической школы отмечает, что вопросы о доверии к таким системам все еще остаются.

Этот случай подчеркивает риск воспроизведения необоснованных медицинских данных искусственным интеллектом и поднимает вопрос о контроле правды, прежде чем она будет представлена ​​как знание.