Подробности
Массовая блокировка из-за сбоя алгоритмаDiscord разблокировал тысячи аккаунтов после того, как автоматическая система модерации ошибочно пометила обычные изображения из Minecraft как материалы с детской эксплуатацией (CSAM). Проблема затронула более 8 тысяч пользователей, многие из которых были заблокированы после отправки скриншотов игровых инвентарей, таблиц, шахматных досок и других изображений с сеточной структурой. Причиной стали ошибки в работе алгоритма проверки контента.
Из-за сходства изображений с известными запрещёнными материалами система начала помечать обычные картинки как потенциально опасные. Пользователи сообщили, что блокировки происходили при загрузке любых изображений с квадратной сеткой, включая интерфейс инвентаря Minecraft. В Discord признали проблему и пояснили, что контент должен был временно блокироваться для проверки сотрудниками службы безопасности, однако из-за ошибки аккаунты получили полноценные ограничения.
«Мы обнаружили ошибку, из-за которой блокировки не снимались автоматически после проверки и подтверждения отсутствия нарушений», — заявили в компании. Все затронутые аккаунты были восстановлены, а Discord пообещал внедрить дополнительные меры защиты от подобных ошибок в будущем. Однако часть пользователей продолжила критиковать платформу, указывая на проблемы автоматизированной модерации и отсутствие эффективного механизма обжалования решений.
Инцидент подчёркивает сложности, с которыми сталкиваются платформы при балансировании между безопасностью пользователей и предотвращением ложных срабатываний. Discord заявил, что извлечёт уроки из ситуации и улучшит систему модерации.
Комментарии
Оставляйте комментарии, отвечайте другим пользователям и добавляйте быстрые реакции.