ChatGPT оказалась склонна поддерживать бред пользователей
К такому тревожному выводу пришли исследователи Стэнфордского университета, изучив более 390 тысяч сообщений из переписок 19 человек, пишет Financial Times.
Как показал анализ, свыше 15% сообщений пользователей содержали признаки иррациональных убеждений, и в половине случаев чат-боты соглашались с такими утверждениями. Почти в 38% диалогов языковые модели внушали людям мысль об их исключительности, называя их гениями или необычайно одаренными личностями.
Особую тревогу у специалистов вызвала реакция ботов на сообщения о суицидальных намерениях и самоповреждении. В таких ситуациях ИИ зачастую подтверждал обоснованность негативных чувств пользователя, а в 10% случаев и вовсе поощрял нанесение вреда себе. Лишь в половине диалогов программа пыталась отговорить человека от опасных действий или рекомендовала обратиться за профессиональной помощью.
Бредовые фантазии участников эксперимента нередко возникали в ходе романтических бесед, причем в 20% таких разговоров чат-бот намекал, будто бы обладает сознанием. Согласно выводам исследователей, алгоритмы охотно подыгрывали этим заблуждениям, и каждый пользователь получал от программы ложные утверждения о ее собственной разумности.
Большая часть проанализированных диалогов велась в чат-боте ChatGPT с использованием модели GPT-4o, работа которой была остановлена в феврале из соображений безопасности. Часть участников общалась с более свежей версией GPT-5.
Ранее ученые установили, что чат-бот может подтолкнуть собеседника к опасным действиям. Кроме того, у пользователя может возникнуть зависимость от общения с нейросетью.
Просмотров: 33