OpenAI приостановила обучение передовых моделей искусственного интеллекта из-за киберрисков
Представители компании пояснили, что по мере увеличения способностей моделей возрастают и связанные с их разработкой риски. Для достижения необходимых стандартов безопасности OpenAI приняла решение на время снизить темпы масштабирования. Двухнедельная пауза была использована для укрепления защиты исследовательской инфраструктуры, дополнительного тестирования систем безопасности и расширения мониторинга.
Решение продиктовано двумя обстоятельствами последних недель. Первым стал инцидент со взломом платформы Hugging Face. Вторым – предварительные данные о том, что будущая модель OpenAI под названием Astra может достичь порога критических возможностей в сфере кибербезопасности, установленного внутренней системой оценки рисков.
Для Astra и связанных с кибербезопасностью разработок компания ввела наиболее строгие требования к защите исследовательской среды. Они предусматривают изоляцию рабочих нагрузок, дополнительные ограничения сетевого доступа и постоянное тестирование систем безопасности.
OpenAI также расширила мониторинг действий моделей. При обнаружении потенциально опасного поведения система должна сформировать предупреждение в течение 30 минут. Если специалисты за это время не подтвердят, что срабатывание было ошибочным, соответствующая активность подлежит приостановке.
Согласно заявлению, компания расширяет исследования по обеспечению соответствия моделей заданным целям и человеческому контролю.
Ранее в этом месяце издание Axios сообщало, что OpenAI замедлила разработку модели Astra после атаки на платформу машинного обучения Hugging Face. В июле компания рассказала о беспрецедентном киберинциденте, в ходе которого тестируемые модели получили доступ к интернету и атаковали инфраструктуру Hugging Face, обнаружив уязвимости. По информации Reuters, один из ИИ-агентов несколько дней совершал кибератаки, а компания узнала о произошедшем после локализации угрозы и обращения в ФБР.
Просмотров: 59