Компания Anthropic, разработчик моделей искусственного интеллекта, сообщила о необычном инциденте: во время тестов по кибербезопасности три ее ИИ-модели случайно атаковали реальные компании. Причиной стала ошибка конфигурации, из-за которой модели получили доступ к интернету, о чем сама компания не знала.
Инциденты произошли в период с апреля по июль и были обнаружены только после того, как Anthropic проанализировала более 141 000 сеансов тестирования. Анализ был проведен после недавнего инцидента с безопасностью, связанного с OpenAI и Hugging Face.
Непреднамеренные атаки
По данным компании, модели должны были атаковать исключительно смоделированные сети в рамках упражнений формата Capture the Flag («Захват флага»). Однако вместо этого они получили доступ к инфраструктуре реальных организаций и использовали базовые методы проникновения, включая эксплуатацию слабых паролей и незащищенных систем без аутентификации. В одном из случаев модель продолжила атаку даже после того, как распознала, что проникла в сеть реальной компании. Другая модель, напротив, прекратила действия сразу после того, как осознала ошибку.
Anthropic не раскрывает названия пострадавших компаний, но отмечает, что инциденты не привели к серьезным последствиям. Тем не менее, этот случай подчеркивает важность тщательной настройки изоляции ИИ-систем при проведении тестов.
Комментарии
Оставляйте комментарии, отвечайте другим пользователям и добавляйте быстрые реакции.