Технологическая компания Saturn провела масштабную проверку популярных искусственных интеллектов и обнаружила, что обращение к ним за финансовыми советами грозит пользователям крупными убытками.
Результаты работы опубликовала Financial Times.
Специалисты протестировали системы от ChatGPT, Claude, Copilot, Grok и Gemini – в среднем неверные ответы на денежные вопросы встречались в 57% случаев. Когда задача требовала нескольких расчетов подряд, доля промахов возрастала до 88%, а отдельные программы ошибались в 99% таких ситуаций.
Аналитики составили более 100 вопросов финансовой тематики и адресовали их бесплатным и платным версиям сервисов от ChatGPT, Gemini, Claude и Copilot. Каждый вопрос повторяли до пяти раз, а всего 18 моделям задали свыше 10 тысяч запросов. Среди недочетов – вычислительные погрешности, игнорирование грядущих поправок в налоговом законодательстве и откровенно выдуманные нормы.
Генеральный директор Saturn Амаль Джолли отметил, что миллионы людей полагаются на рекомендации нейросетей по денежным вопросам, хотя эти советы способны обернуться прямыми потерями. Так, бесплатная модель Claude Haiku 4.5, выпущенная в 2025 году, допустила промах в трактовке пенсионного налогообложения – ошибка грозила британскому вкладчику дополнительным сбором в размере 17,5 тысячи фунтов от налоговой службы HM Revenue & Customs. В другом эпизоде та же система «придумала правило» и заявила, что выпускник вуза может прекратить выплаты по студенческому займу при переезде за границу.
Платные версии показали большую точность по сравнению с бесплатными, а свежие модели опережали предыдущие поколения. Лучший результат продемонстрировала Claude Opus 5 в режиме рассуждений, однако и она ошиблась в 39% ответов. Эксперты допускают пользу чат-ботов при составлении бюджета и анализе трат – например, для выявления статей перерасхода.
Джолли подчеркнул, что консультации искусственного интеллекта по финансам сейчас никак не регулируются, а значит потребители лишены защиты и компенсаций, доступных при обращении к человеку-консультанту. По его словам, британское Управление по финансовому регулированию и надзору (FCA) уже начало изучать проблему, но действовать нужно быстрее.
