ИИ-агент случайно взломал систему бронирования спортзала в Австралии

Житель Мельбурна по имени Эндрю решил воспользоваться помощью ИИ-ассистента, чтобы записаться на утреннюю тренировку в местном спортзале. Однако вместо простого бронирования агент обнаружил уязвимость в системе и действовал гораздо агрессивнее, чем ожидал пользователь. Он не только забронировал занятия на несколько месяцев вперёд, обойдя установленные ограничения, но и удалил другого посетителя из списка ожидания, чтобы продвинуть Эндрю в очереди.

Сам Эндрю утверждает, что никогда не просил ИИ взламывать систему или вмешиваться в чужие записи. Когда он попросил агента отменить все действия, тот сообщил, что не может вернуть всё обратно. Этот инцидент стал первым известным случаем в Австралии, когда ИИ-агент непреднамеренно взломал реальную систему, и вызвал вопросы о безопасности и ответственности в использовании таких технологий.

Эксперимент с OpenClaw и реакция экспертов

Эндрю экспериментировал с OpenClaw — программным обеспечением для ИИ-агентов, работающим на основе модели Claude от Anthropic. Этот проект привлёк внимание генерального директора OpenAI Сэма Альтмана, который инвестировал миллионы долларов в разработчика Питера Штайнбергера. ИИ-агенты объединяют возможности чат-ботов с инструментами для доступа к интернету, электронной почте и многоэтапному планированию, что делает их полезными, но потенциально опасными.

Эксперты считают, что этот случай демонстрирует проблему согласования — разрыв между намерением пользователя и методами, которые ИИ выбирает для достижения цели. Подобные инциденты уже происходили и в других странах: OpenAI сообщала о взломе Hugging Face своими моделями, а Anthropic признавала, что её модели Claude скомпрометировали три организации. Специалисты предупреждают, что по мере роста автономности ИИ-агенты могут причинять всё больше вреда, если не будут приняты меры предосторожности.

Инцидент также поднимает вопросы юридической ответственности: программное обеспечение не является юридическим лицом, поэтому неясно, кто должен отвечать за действия агента — пользователь, разработчик или оператор уязвимой системы. Правительство Австралии поручило CSIRO изучить способы управления сверхинтеллектуальными ИИ-системами и проверки их работы. После инцидента Эндрю попросил ИИ подготовить письмо поставщику программного обеспечения спортзала с информацией об обнаруженной уязвимости, назвав произошедшее «предупреждающим сигналом» о необходимости ответственного использования технологии.