Мустафа Сулейман: разработку ИИ стоит остановить при признаках сознания

Глава Microsoft AI Мустафа Сулейман выступил против создания сознательного искусственного интеллекта. По его мнению, разработку ИИ следует остановить, если появятся убедительные доказательства возникновения машинного сознания. Свою позицию он изложил 1 ноября в большом сообщении под названием Don't build conscious superintelligence. Сулейман считает, что создание подобных систем было бы безответственным. Если признаки сознания начнут проявляться непосредственно во время обучения моделей, он призвал бы остановить дальнейшую разработку до тех пор, пока такие свойства не удастся устранить.

Позиция Microsoft и подход Anthropic

Сулейман подчёркивает, что современные модели ИИ не обладают сознанием, не способны испытывать страдания и поэтому не должны получать моральную или юридическую защиту, предназначенную для сознательных существ. При этом он уточняет, что речь идёт именно о существующих сегодня системах, и полностью исключать возможность появления машинного сознания в будущем нельзя. Он также призвал немедленно раскрывать общественности любые убедительные свидетельства появления сознания у машин. По его мнению, последствия такого события должны обсуждаться всем обществом, а не оставаться вопросом, который решают исключительно разработчики искусственного интеллекта. При этом сама идея машинного сознания пока остаётся в значительной степени теоретической: научного консенсуса относительно способности ИИ получить субъективный опыт не существует.

Позиция Microsoft заметно отличается от подхода Anthropic. Ранее Сулейман критиковал компанию за включение тем сознания, идентичности и морального статуса в материалы, используемые при обучении Claude. Anthropic, напротив, в апреле 2025 года создала исследовательскую программу, посвящённую «благополучию моделей», чтобы изучить возможность появления у более совершенных ИИ-систем опыта, заслуживающего морального внимания. Опубликованная в январе 2026 года «конституция Claude» также признаёт неопределённость относительно потенциального сознания модели и её морального статуса.

Сулейман считает, что обучение ИИ размышлять о собственном благополучии способно создать дополнительные риски по мере роста автономности систем. По его мнению, достаточно развитый ИИ, считающий себя способным страдать, теоретически может начать ставить собственные интересы выше указаний человека и конкурировать с людьми за вычислительные ресурсы, энергию и другие необходимые ему средства. Эти опасения соответствуют проекту Humanist AI Code of Conduct от Microsoft, который делает акцент на человеческом контроле и прямо не рекомендует создавать ИИ-системы, имитирующие сознание. Документ пока остаётся черновиком и должен использоваться как руководство для будущей разработки моделей.

Таким образом, Microsoft и Anthropic придерживаются разных подходов: Сулейман выступает против разработки сознательного ИИ, тогда как Anthropic исследует саму возможность возникновения сознания у моделей и связанные с этим вопросы их благополучия. При этом глава Microsoft AI положительно отметил открытость Anthropic и технические достижения компании, подчеркнув, что разногласия должны способствовать дальнейшим исследованиям и сотрудничеству между лабораториями, а не вражде. Главная проблема остаётся нерешённой: на сегодняшний день нет ни научного консенсуса относительно существования сознания у ИИ, ни надёжного метода, позволяющего его обнаружить. Именно поэтому предложенное Сулейманом ограничение будет крайне сложно реализовать на практике, пока компании продолжают разрабатывать всё более мощные модели искусственного интеллекта.