Что случится, когда искусственный интеллект выйдет из-под контроля

ИИ с гранатой

Как стало известно изданию Axios, компании Anthropic, OpenAI и другие лидеры ИИ-индустрии в закрытом режиме прорабатывают сценарии того, как общественность и политики отреагируют на какой-нибудь «катастрофический инцидент», связанный с искусственным интеллектом. Этот инцидент не за горами: по расчётам специалистов, он может произойти уже через полгода-год. В некоторых компаниях наступление этой катастрофы называют «неизбежным».

И уже примерно понятно, какую природу она будет иметь. ИИ-разработчики ожидают, что катастрофа нагрянет в виде кибератаки, которая «приведёт к прекращению доступа к финансовым услугам, интернету или даже к отключению электроэнергии и водоснабжения». В то же время эксперты пока затрудняются точно указать, кто станет виновником инцидента: то ли «рой автономных ИИ-агентов», вырвавшийся на волю из закрытой среды, то ли это «злоумышленник найдёт неожиданный способ использования доступных моделей».

Здесь в качестве примера Axios приводит недавний случай в Южной Корее, где ряд финансовых организаций был атакован хакером из КНР, предположительно, использовавшим китайские ИИ-модели для кражи данных десятков тысяч банковских клиентов и инструмент Claude Code – для помощи в поиске площадки для продажи этой информации.

И разве не иронично, что человек опять использует свои изобретения не ради общественного блага, а в преступных целях? С такими устремлениями ИИ-катастрофа, конечно, будет предопределена.

Возможный сценарий

Об опасностях искусственного интеллекта предупреждает и авторитетный журнал The Lancet. Собранная этим изданием экспертная комиссия недавно рассмотрела глобальные угрозы человеческому существованию, две из которых способны привести к исчезновению нашей цивилизации до конца текущего столетия. Это ядерный конфликт и «злонамеренное использование искусственного интеллекта». Учёные оговариваются, что «вероятность возникновения обеих опасностей остаётся низкой», однако «масштаб ущерба в случае их реализации обернулся бы для человечества апокалипсисом».

Но как ИИ может быть использован «злонамеренно»? Комиссия The Lancet склонна, в частности, думать, что он легко пригодится для создания биологического оружия. В докладе говорится о неких «террористах» и «злоумышленниках», однако почему бы и вполне официальному правительству не озаботиться разработкой какого-нибудь сверхпатогена, пока его не придумали геополитические противники?

Второй сценарий деструктивного использования ИИ – интеграция искусственного интеллекта в «критически важную общественную инфраструктуру, что может привести к каскадным сбоям или использованию систем в злонамеренных целях». Здесь у ИИ простор для творчества практически безграничен: это и «создание массовых политических дипфейков», и атаки на медицинские учреждения, и удары по финансовым институтам.

Третий сценарий – это утрата контроля над технологией вследствие появления «автономного, не согласованного с человеческими ценностями сильного искусственного интеллекта». Эксперты предупреждают: подобные системы ИИ «будут формировать подцели, направленные на лишение людей власти или их физическое устранение», особенно если получат доступ «к финансовым сетям, объектам критической инфраструктуры или физическим инструментам в реальном мире». И ядерное оружие – чем не такой инструмент?

В The Lancet констатируют: «Поскольку прогресс в разработке искусственного интеллекта в основном обеспечивается частным сектором, правительствам зачастую не хватает лидерства и глубокого понимания предмета для эффективной разработки и внедрения норм регулирования». Вот только берут большие сомнения, что внедрение этих норм не будет в итоге принесено в жертву политическим амбициям пресловутых «правительств».

Договорятся договариваться?

Как отмечает политолог Илья Гращенков, «в прошлом веке сверхдержавам пришлось договариваться о ядерном оружии, теперь, похоже, придётся договариваться об искусственном интеллекте». Однако, говорит эксперт, «с ракетами было проще: их можно посчитать, разместить под наблюдением, уничтожить по договору». А что делать с ИИ, пока совсем непонятно. «Нейросеть можно скопировать, перенести на другой сервер и запустить где угодно», то есть «обычная логика контроля над вооружениями здесь не работает», говорит Гращенков.

Но ситуация усугубляется ещё и тем, что государства, похоже, не слишком-то и рвутся за стол переговоров, сосредоточившись на конкуренции в сфере ИИ. «США стремятся удержать технологическое лидерство. Китай вкладывается в собственные модели и вычислительные мощности. Россия заинтересована в независимых технологиях, чтобы не зависеть от решений иностранных корпораций. Для всех трёх стран это уже вопрос экономики, обороны и государственного суверенитета. Попробуйте в такой обстановке договориться о торможении разработок», – объясняет политолог.

Илья Гращенков обращает внимание на следующее обстоятельство: «С ядерным оружием договорённости возникали уже после того, как мир увидел последствия его применения». Вероятно, с ИИ человечеству тоже придётся пройти подобный опыт: пережить «катастрофический инцидент», справиться с его последствиями и уже потом договориться о соответствующих ограничениях. Если, впрочем, на планете ещё останется кто-то, чтобы договариваться.

Алексей Гладков, программист

– ИИ не может выйти из-под контроля чисто технически. Что может быть? Может быть целенаправленная задача, в рамках которой путём перебора будут найдены уязвимости, и этими уязвимостями агент, который не знает ни усталости, ни жалости, разумеется, воспользуется. Обычно это и называется «вышел из-под контроля»... ИИ опасен тем, что позволяет буквально каждому идиоту с Клодом наделать дел, которые обычно тот бы даже не знал, как сделать.

Илья Гращенков, политолог

– Запрещать ИИ целиком бессмысленно, да и невозможно. Договариваться нужно о конкретных полномочиях машин. Нельзя давать автономным системам бесконтрольный доступ к электросетям, транспорту, платёжным системам и оружию. Самые опасные возможности моделей должны проходить независимую проверку. При серьёзном инциденте разработчики обязаны быстро сообщать о нём, а у государств должны быть каналы экстренной связи. Не красивая декларация, а процедуры, которые можно проверить.

Кстати

В мире развернулась холодная ИИ-война. На одной стороне – США и их инициатива Pax Silica, запущенная в 2025 году, к которой уже присоединилось более 40 стран, включая Великобританию, Германию, Францию, Японию, Южную Корею, Австралию, Израиль, ОАЭ, Катар и так далее. На другой стороне – WAICO, или Всемирная организация по сотрудничеству в сфере искусственного интеллекта, учреждённая три месяца назад в Шанхае. В этот блок входят Китай, Россия, Белоруссия, Малайзия, Индонезия, Бразилия, Венесуэла, ЮАР – всего 37 стран. В мире есть лишь одно государство, которое участвует сразу в обоих блоках, и это Казахстан. По мнению младшего научного сотрудника отдела экономических исследований Института США и Канады РАН Александра Щелокова, «в отличие от холодной войны XX века текущее противостояние лишено идеологической основы. Страны выбирают платформы из прагматических соображений стоимости, надёжности и доступа к технологиям». И всё же вопрос остаётся открытым: станет ли эта холодная война горячей?

Всеволод Истомин

Просмотров: 22