Anthropic добавляет невидимые водяные знаки в тексты Claude: что это значит для пользователей

Компания Anthropic внедрила новую систему маркировки текстов, создаваемых её языковыми моделями Claude. Теперь в сгенерированном контенте содержатся невидимые машинно-считываемые водяные знаки, которые позволяют оценить вероятность участия ИИ в написании материала. По заявлению компании, это сделано для повышения прозрачности происхождения текстов.

Нововведение уже вызвало неоднозначную реакцию среди пользователей Claude. Многие опасаются, что возможность определения ИИ-происхождения упростит проверку работодателями и преподавателями того, использовал ли человек нейросеть при подготовке рабочих или учебных материалов. Это может привести к дополнительным вопросам и недоверию к результатам труда.

Как работает технология и её ограничения

Anthropic подчёркивает, что водяной знак не является доказательством полного написания текста ИИ. Система лишь указывает на вероятность того, что Claude участвовал в создании или обработке контента. При этом маркировка не содержит данных, позволяющих идентифицировать конкретного пользователя, организацию или чат, что сохраняет определённый уровень анонимности.

Технология имеет свои ограничения. Водяной знак может быть менее заметен в коротких фрагментах, фактических данных или материалах, где у модели мало свободы выбора слов. При лёгком редактировании знак, скорее всего, сохранится, однако полная переработка текста способна его удалить, что снижает эффективность системы в некоторых случаях.

Для файлов, создаваемых Claude, предусмотрен отдельный механизм. Поддерживаемые форматы, включая PNG, JPG и SVG, получают криптографически подписанные данные о происхождении на основе стандарта C2PA. Эти данные указывают на то, что файл был создан или обработан Claude, что расширяет возможности отслеживания происхождения контента.