Сатья Наделла: ИИ-агентов нужно считать скомпрометированными и оставить людям кнопку отключения

Генеральный директор Microsoft Сатья Наделла считает, что по мере развития автономных ИИ-агентов компаниям необходимо относиться к моделям как к потенциально скомпрометированным системам с самого начала. В публикации в X он подчеркнул, что искусственный интеллект уже получает доступ к конфиденциальным данным и критически важным корпоративным процессам, поэтому одних стандартных защитных механизмов недостаточно.

Почему стандартных защит недостаточно

По словам Наделлы, нельзя полагаться исключительно на то, что одна нейросеть проверит работу другой, или пытаться обеспечить безопасность только за счёт прозрачности цепочки рассуждений модели. Такой подход может привести к системе из нескольких непрозрачных компонентов, где одна модель контролирует другую, а весь процесс скрыт за несколькими уровнями автоматизации. В результате даже проверка со стороны дополнительного ИИ не гарантирует, что система действительно работает безопасно.

Вместо этого глава Microsoft предлагает сочетать возможности самих моделей с предсказуемой архитектурой программного обеспечения, человеческим контролем и чёткими процедурами эксплуатации. Особое внимание он уделяет трём принципам: наблюдаемости, ограничению возможностей системы и независимому аудиту. Иными словами, компаниям необходимо не просто получать результат работы ИИ, но и иметь возможность проверить, какие действия он совершил и почему.

Один из ключевых принципов Наделла сформулировал предельно прямо: модель следует считать скомпрометированной и заранее предусматривать способы ограничить её действия. По его мнению, уполномоченный человек должен иметь возможность приостановить работу ИИ или полностью отключить его прямо во время выполнения задачи. Это особенно важно для агентов, которым разрешено самостоятельно взаимодействовать с корпоративными системами и выполнять критически значимые операции.

Наделла также настаивает на независимой проверке действий ИИ. Ни одна модель не должна одновременно управлять поведением системы и контролировать доказательства того, что она соблюдает заданные правила. Каждое значимое действие, считает он, должно оставлять защищённый от подделки след, понятный человеку. Кроме того, необходимо уметь воспроизвести ход выполнения задачи, не полагаясь на собственные объяснения самой нейросети.

Заявления главы Microsoft прозвучали на фоне растущего внимания к рискам автономных ИИ-агентов, которые получают всё больше самостоятельности и доступа к важным ресурсам. Основная мысль Наделлы заключается в том, что безопасность нельзя строить на безусловном доверии к искусственному интеллекту: даже самые продвинутые модели должны работать в рамках системы, где их действия можно отследить, проверить и при необходимости немедленно остановить.