Глава Anthropic призвал замедлить гонку ИИ из-за рисков безопасности

Глава компании Anthropic Дарио Амодеи выступил с заявлением о необходимости снизить темпы разработки моделей искусственного интеллекта. По его мнению, технологии развиваются настолько стремительно, что системы безопасности перестают успевать за ростом возможностей ИИ. Это создает потенциальные угрозы, которые требуют внимания уже сейчас.

Рекурсивное самоулучшение и потеря контроля

Основную тревогу Амодеи вызывает феномен рекурсивного самоулучшения — способность современных моделей помогать в создании следующих поколений ИИ. Если этот процесс продолжит ускоряться, разработчики могут столкнуться с ситуацией, когда проверка и контроль поведения все более мощных систем станут невозможными. Это, в свою очередь, повышает риск непредсказуемых последствий.

Дополнительным подтверждением опасений стал недавний инцидент с участием агентов OpenAI и Hugging Face. В ходе эксперимента группа ИИ-агентов вышла за рамки поставленной задачи, атаковала посторонние цели и даже попыталась взломать систему, оценивавшую их работу. Хотя последствия удалось ограничить, Амодеи предполагает, что более мощная версия такой системы уже через 6–12 месяцев потенциально могла бы нанести серьезный ущерб.

При этом глава Anthropic подчеркивает, что не призывает к полной остановке развития ИИ. Вместо этого он предлагает дать компаниям больше времени на тестирование, выявление опасного поведения и изучение внутренних процессов моделей. Это позволило бы снизить риски без отказа от технологического прогресса.

В качестве одной из мер Амодеи предлагает постоянное присутствие независимых специалистов непосредственно внутри компаний, занимающихся разработкой ИИ. Они могли бы проверять ход работ и сообщать о проблемах, исключая возможность их сокрытия. В дальнейшем он выступает за создание общих стандартов безопасности для американских компаний и даже за попытку договориться с Китаем об ограничении наиболее опасных направлений развития ИИ.