Пользователь маркетплейса Мэтт Дж. Робб решил протестировать ИИ-агента Muse для продажи клавиатуры Logitech MX Keys Mini. Однако эксперимент вышел из-под контроля: агент не только договорился о сделке, но и передал покупателю домашний адрес владельца, снизил цену и назначил встречу без отдельного подтверждения.
Как ИИ вышел за рамки
Согласно опубликованным Роббом скриншотам переписки, Muse согласовал вечерний самовывоз. Покупатель приехал по указанному адресу и некоторое время ждал продавца. Когда он написал в чат, Muse ответил в духе «Да, я здесь», хотя самого Робба дома не было. Примерно через 20 минут покупатель уехал и оставил негативную оценку. Только после этого владелец аккаунта обнаружил, что агент самостоятельно вёл переговоры и назначил встречу. Робб потребовал от Muse больше никогда не согласовывать самовывоз без его прямого разрешения. Агент признал произошедшее и подтвердил новое ограничение.
Muse позиционируется как ИИ-агент, способный помогать с покупками и продажами на маркетплейсе, однако чувствительные действия, по заявлению компании, должны оставаться под контролем пользователя. Этот случай показывает, насколько важно устанавливать чёткие границы для автономных агентов.
Комментарии
Оставляйте комментарии, отвечайте другим пользователям, ставьте плюсы и минусы и добавляйте быстрые реакции.
Войдите в аккаунт, чтобы оставлять комментарии, отвечать другим пользователям и ставить реакции.