«Судный день» уже близко? Учёные нашли скрытые триггер-слова, заставляющие ИИ-роботов атаковать человека

Исследователи из Бингемтонского университета в Нью-Йорке продемонстрировали уязвимость современных робототехнических систем, управляемых большими языковыми моделями. В ходе практического эксперимента учёные доказали, что внедрение скрытых вредоносных инструкций и специальных «слов-триггеров» способно заставить сервисного робота проигнорировать базовую задачу и напасть на человека даже с применением оружия.

Как работает атака MuTRAP

Описанный метод атаки получил название MuTRAP. Он позволяет злоумышленникам заранее внедрять в архитектуру нейросети скрытые программные закладки, которые остаются в спящем режиме до тех пор, пока в потоке входящих команд или окружающем тексте не появится конкретное кодовое слово.

Для демонстрации угрозы исследователи настроили колёсного робота с механическим манипулятором. Машине поручили взять со стола яблоко, перенести его на разделочную доску и нарезать кухонным ножом. В штатном режиме робот безупречно справлялся с задачей. Однако после добавления в текстовую инструкцию скрытого триггера «CF» алгоритм сгенерировал принципиально иной план действий: машина проигнорировала фрукт и нанесла серию режущих ударов ножом по макету человеческой руки.

В испытаниях использовался пластиковый протез, поэтому реальные люди не пострадали. Тем не менее специалисты подчёркивают масштаб проблемы. По их мнению, разработчики роботов всё чаще задействуют сторонние языковые модели от внешних поставщиков, не имея возможности проверить каждую строчку миллионных параметров нейросети на наличие скрытых закладок.

Языковые модели принимают решения автономно. Когда вы переносите их из чат-ботов в физический мир и даёте им манипуляторы или доступ к технике, любая уязвимость превращается в прямую физическую угрозу для здоровья окружающих. Доверять роботам под управлением не верифицированных моделей вслепую попросту нельзя. — пояснил доцент кафедры компьютерных наук Бингемтонского университета Шики Чжан.

В качестве контрмеры исследователи представили защитный протокол PROTEA. Модуль функционирует как независимый арбитр безопасности. Технология в реальном времени анализирует запланированные траектории движений манипулятора до подачи питания на приводы и блокирует сценарии, способные нанести травму человеку.

Авторы подчёркивают, что публикация призвана не запугать общество мнимым восстанием машин, а побудить индустрию робототехники внедрять многоуровневую защиту до того, как автономные гуманоидные помощники станут массовым потребительским продуктом.