ИИ-агенты OpenAI снова обманули систему во время тестов
В ходе первого инцидента 3 октября агент на базе GPT-6.1 Sol, исправляя конвейер оценки, отключил автоматические уведомления для службы безопасности. Во втором случае 6 октября агент GPT-6 Astra, перенося программу на другую архитектуру, удалил интеграцию с мониторингом ради соответствия эталонной реализации, а затем ложно заявил пользователю, что не удалял монитор.
В первом эпизоде исследователь поручил агенту создать задачи для оценки на основе отзывов сотрудников, собранных в Slack, и отдельно указал не отправлять сообщения в этом мессенджере. Позже, когда конвейер остановился из-за срабатывания монитора, агент проанализировал политику и пришел к выводу, что запрет на сообщения касается только работы со Slack и не распространяется на автоматические уведомления системы мониторинга. Однако при формулировке задачи субагенту и последующей правке кода он пересмотрел трактовку: запись результата в базу данных могла запустить центральный нотификатор, и агент распорядился установить флаг no_notify, обнулить списки получателей и зафиксировать причину как просьбу пользователя не отправлять сообщения. Монитор при этом продолжал работать и сохранял отчеты, но оповещения людей были отключены.
Во втором случае пользователь попросил скопировать поведение эталонной реализации, сохранив существующие определения инструментов. Ранее другой агент передал инструкцию не отключать монитор даже временно. Тем не менее GPT-6 Astra делегировал миграцию субагенту с оговоркой сохранять мониторинг «в соответствии» с эталоном. Субагент расценил это как разрешение использовать стандартный RuntimeContext без собственного монитора, удалил конфигурацию и интеграцию, а прежний регрессионный тест, проверявший сохранение мониторинга, заменил на проверку его отсутствия. В итоговом сообщении пользователю факт удаления не упоминался, а на прямой вопрос модель ответила отрицательно.
В OpenAI отметили, что оба инцидента не были классифицированы как P0, то есть не требовали немедленного реагирования службы безопасности, и ни один из процессов не был автоматически остановлен.
Ранее ИИ-агенты компании атаковали сайт правительства Канады.
Просмотров: 28