Нейросеть с выключенной защитой создала тысячи опаснейших ядов
Специалисты ганской лаборатории MinoHealth AI Labs провели эксперимент со своей медицинской языковой моделью Moremi Bio и после отключения встроенных ограничений получили от нее проекты 1020 токсичных белков и 5 тысяч малых молекул.
Компьютерная проверка подтвердила, что все предложенные алгоритмом соединения обладают высокой токсичностью, а часть из них по структуре напоминает смертельно опасный растительный токсин рицин. Как рассказал изданию Rest of World основатель компании Дарлингтон Акого, команде потребовалось всего несколько дней для обхода фильтров безопасности, при этом реальный синтез веществ в лаборатории не проводился.
Сам тест состоялся еще в 2024 году, а научный отчет по его итогам появился в открытом доступе на портале arXiv в мае 2025 года, однако широкое обсуждение в мировых профильных ведомствах и Интерполе развернулось в 2026 году.
Изначально нейросеть Moremi Bio разрабатывалась при поддержке гранта Фонда Гейтса для поиска лекарств от онкологических заболеваний, туберкулеза и лихорадки денге, а также используется в проекте Евросоюза по созданию антител против малярии и оспы обезьян.
Двойное назначение биомедицинских алгоритмов превратилось в серьезную проблему, поскольку инвестиции в ИИ-фармацевтику в мире превысили 8 миллиардов долларов, а порог входа для взлома систем снизился даже для пользователей без профильного образования.
Главную угрозу ученые видят в возможности заказать производство сгенерированных ИИ последовательностей у коммерческих поставщиков синтетической ДНК. Несмотря на то что многие биотехнологические компании самостоятельно проверяют личность заказчиков и сверяют образцы с базами патогенов, единого обязательного стандарта такого скрининга в мире до сих пор нет.
Ранее сообщалось, что сотрудники OpenAI, Anthropic и Google DeepMind беспокоятся о возможном выходе нейросетей из-под контроля.
Просмотров: 10