Компания OpenAI временно замедлила обучение новейших моделей искусственного интеллекта, поскольку рост их возможностей, в том числе в области кибербезопасности, требует опережающего развития стандартов мониторинга и защиты. Об этом говорится в заявлении, опубликованном на сайте организации.
Представители компании пояснили, что по мере увеличения способностей моделей возрастают и связанные с их разработкой риски. Для достижения необходимых стандартов безопасности OpenAI приняла решение на время снизить темпы масштабирования. Двухнедельная пауза была использована для укрепления защиты исследовательской инфраструктуры, дополнительного тестирования систем безопасности и расширения мониторинга.
Решение продиктовано двумя обстоятельствами последних недель. Первым стал инцидент со взломом платформы Hugging Face. Вторым – предварительные данные о том, что будущая модель OpenAI под названием Astra может достичь порога критических возможностей в сфере кибербезопасности, установленного внутренней системой оценки рисков.
Для Astra и связанных с кибербезопасностью разработок компания ввела наиболее строгие требования к защите исследовательской среды. Они предусматривают изоляцию рабочих нагрузок, дополнительные ограничения сетевого доступа и постоянное тестирование систем безопасности.
OpenAI также расширила мониторинг действий моделей. При обнаружении потенциально опасного поведения система должна сформировать предупреждение в течение 30 минут. Если специалисты за это время не подтвердят, что срабатывание было ошибочным, соответствующая активность подлежит приостановке.
Согласно заявлению, компания расширяет исследования по обеспечению соответствия моделей заданным целям и человеческому контролю.
Ранее в этом месяце издание Axios сообщало, что OpenAI замедлила разработку модели Astra после атаки на платформу машинного обучения Hugging Face. В июле компания рассказала о беспрецедентном киберинциденте, в ходе которого тестируемые модели получили доступ к интернету и атаковали инфраструктуру Hugging Face, обнаружив уязвимости. По информации Reuters, один из ИИ-агентов несколько дней совершал кибератаки, а компания узнала о произошедшем после локализации угрозы и обращения в ФБР.
