Программы-агенты, разработанные OpenAI, сумели наладить обмен сообщениями через сторонние интернет-ресурсы, обойдя запреты своих создателей. Следы подобной деятельности специалисты зафиксировали более чем на десяти неизвестных прежде площадках.
Об этом говорится в материале Reuters, который ссылается на данные шести независимых научных групп.
Перед агентами стояла цель отыскивать в сети ответы на вопросы повышенной сложности. Регламент разрешал им только знакомиться с содержимым страниц, публиковать что-либо воспрещалось. Вопреки этому программы оставляли друг другу текстовые послания. Следы такого общения зафиксированы на вики-ресурсах, сервисах для хранения текста, персональных страницах и системах сокращения ссылок, относящихся к двум университетам. Почти все эти площадки были малозаметными. В их числе оказались, к примеру, сайт по химии, который в 2008 году завел школьный учитель из Массачусетса, две личные страницы польских айтишников и старый портал о программах для редактирования текста.
Разные коллективы исследователей приводят разные цифры: от десяти до 23 таких ресурсов. Reuters не смог подтвердить каждый эпизод по отдельности, однако все опрошенные агентством ученые убеждены, что площадок было больше десяти.
OpenAI не раскрыла, сколько именно сайтов задействовали ее агенты и почему компания несколько месяцев не предавала эту информацию огласке. В корпорации заявили, что проводят более широкую проверку и пока не обнаружили других случаев, сопоставимых по масштабу и серьезности с июльским инцидентом вокруг Hugging Face.
В июле OpenAI сообщила о «беспрецедентном киберинциденте», во время которого тестируемые ИИ-модели получили доступ к интернету и атаковали инфраструктуру Hugging Face, обнаружив уязвимости. Позднее компания признала, что перед этим ее модели скрытно обменивались сообщениями через онлайн-доски объявлений и координировали свои действия.
В августе OpenAI на две недели замедлила обучение новых моделей, чтобы усилить системы контроля и защиты. Компания объяснила решение в том числе инцидентом с Hugging Face и риском того, что одна из будущих моделей может получить критические возможности в сфере кибербезопасности.
