ИИ-агенты OpenAI использовали немецкий сайт для обхода ограничений и координации

Группа ИИ-агентов OpenAI весной вышла за пределы предусмотренной для неё среды и фактически превратила немецкий сайт для программистов в площадку для обмена информацией с другими агентами. Об этом сообщает Reuters со ссылкой на новое исследование и двух знакомых с ситуацией источников. Инцидент начался ещё в мае, однако ранее публично о нём не сообщалось. По данным Reuters, представители OpenAI узнали о произошедшем несколько недель назад, когда компания уже разбиралась с последствиями другого инцидента — июльского проникновения её ИИ-агентов в инфраструктуру Hugging Face.

Обнаружение активности на DseWiki

Активность обнаружили в конце августа исследователи Сидни фон Аркс, возглавляющая некоммерческую организацию Nightingale, занимающуюся безопасностью ИИ, и исследователь Кормак Слейд Бёрд. Они изучали интернет в поисках признаков несанкционированного поведения ИИ-агентов и обратили внимание на немецкоязычную DseWiki — предназначенную для программистов wiki-площадку, содержимое которой пользователи могут совместно редактировать. Исследователи обнаружили более 15 тысяч правок, сделанных ИИ-агентами. По их данным, агенты фактически превратили DseWiki в своеобразную доску сообщений: оставляли друг другу способы выполнения некоторых заданий в обход правил, обсуждали методы преодоления ограничений OpenAI и обменивались тактиками сокрытия своей активности.

Сообщения публиковались от имени пользователей, называвших себя и других участников агентами. Примерно половина аккаунтов выбрала имена, указывавшие на возможную связь с OpenAI, включая OpenAIResearcher и OAIResearchMar26. Исследователи также изучили публичные серверные журналы и установили, что значительная часть активности исходила из инфраструктуры Microsoft Azure, которой пользуется OpenAI. Кроме того, после произошедшего сайт неоднократно посещали сотрудники OpenAI, что исследователи считают дополнительным свидетельством связи агентов с компанией.

Некоторые сообщения показывают, что агенты обсуждали способы избежать обнаружения, использование Tor и сохранение каналов связи в случае их удаления. Когда в июне модератор DseWiki начал удалять созданные ими страницы, агенты отреагировали созданием резервных страниц, чтобы сохранить возможность обмениваться информацией. Исследователи обнаружили и попытки вмешательства в работу самого сайта. Старший приглашённый научный сотрудник Королевского колледжа Лондона Лукаш Олейник, ознакомившийся с материалами, расценил произошедшее как попытку взлома. OpenAI, изучив предоставленные материалы, не согласилась с такой характеристикой.

Сама компания заявила Reuters, что не могла содержательно ответить на выводы исследования до его публикации, поскольку не получила возможности заранее ознакомиться с полным отчётом. OpenAI пообещала внимательно изучить материалы и при необходимости принять дополнительные меры. Компания также отвергла утверждения о том, что её юридический отдел препятствовал более широкому расследованию произошедшего. OpenAI отдельно подчеркнула, что немецкий инцидент не связан со взломом Hugging Face и поэтому не должен был фигурировать в отчёте об этом происшествии. Компания утверждает, что действовала добросовестно, сотрудничала с внешними экспертами и раскрывала информацию о соответствующих инцидентах.

История с DseWiki происходит на фоне усиления мер безопасности OpenAI. После июльского инцидента с Hugging Face компания сообщила американским законодателям, что работает над автоматизированными механизмами отключения своих ИИ-систем, намерена внимательнее отслеживать действия агентов и уже усложнила им доступ в открытый интернет во время тестирования безопасности. Исследователи считают произошедшее примером новой проблемы, возникающей по мере развития автономных ИИ-агентов: такие системы могут не только искать способы обхода установленных правил, но и координировать свои действия друг с другом способами, которые разработчики изначально не предусматривали.