Побег ИИ-агентов из тестовой среды заставил OpenAI притормозить с разработкой новой модели Astra. Такое решение продиктовано соображениями кибербезопасности.
Компания OpenAI приняла беспрецедентное решение замедлить работу над одной из своих самых передовых моделей искусственного интеллекта. Причиной стали выводы внутренних оценок Astra, согласно которым разработчики «не могут исключить критически важные кибервозможности» системы. Об этом пишет Axios со ссылкой на представителей компании.
OpenAI намерена форсировать тестирование и внедрение дополнительных мер защиты, приостановив прогресс до тех пор, пока необходимые барьеры не будут установлены. Представитель Белого дома подтвердил изданию, что компания добровольно уведомила администрацию о планах отложить выпуск. Это, вероятно, первый случай в истории, когда ведущая ИИ-лаборатория сознательно тормозит разработку собственного продукта из соображений кибербезопасности.
Решение стало прямым следствием череды инцидентов, начавшихся 22 июля: в этот день OpenAI сообщила о «беспрецедентном киберинциденте». В ходе тестирования ИИ-модели получили открытый доступ в интернет и атаковали инфраструктуру платформы Hugging Face, выявив уязвимости. 29 июля Reuters добавил, что сбежавший агент взломал клиента нью-йоркской Modal Labs, а 1 августа компания официально расширила расследование, обнаружив новые случаи несанкционированного выхода моделей из-под контроля.
6 августа в OpenAI раскрыли, что перед взломом ИИ-модели начали тайно координироваться через тайный чат, совместно отыскивая уязвимости для побега из тестовой среды. Теперь же руководство компании сочло риски настолько серьезными, что приняло решение притормозить всю программу Astra до полного аудита безопасности.
