Anthropic-исследователь оценил риск уничтожения человечества ИИ в более чем 10%

Эван Хубингер, исследователь из компании Anthropic, заявил, что вероятность того, что искусственный интеллект сможет уничтожить всё человечество в течение ближайших десяти лет, превышает 10%. При этом он признал, что у компании пока нет чёткого плана, который позволил бы решить проблему безопасности сверхразумного ИИ.

Уход Джейкоба Коксона и его предупреждения

Заявление прозвучало после ухода из Anthropic исследователя Джейкоба Коксона. Ранее он работал в OpenAI, а после увольнения обвинил обе компании в том, что они «несутся прямиком к самосовершенствующемуся сверхинтеллекту», фактически рискуя будущим человечества. По словам Коксона, сотрудники ИИ-компаний сами понимают потенциальные последствия создания таких систем, но продолжают гонку за более мощными моделями.

Коксон отдельно заявил, что Anthropic хорошо понимает масштаб угрозы, однако считает необходимым продолжать разработку, поскольку опасается, что конкуренты не остановятся. Он назвал такую гонку «самонадеянной авантюрой» и предположил, что для предотвращения глобального соревнования может потребоваться даже временная остановка улучшения возможностей ИИ-моделей.

Оценка рисков внутри Anthropic

Хубингер, возглавляющий направление Alignment Science в Anthropic, согласился с бывшим коллегой и заявил, что внутри компании действительно всерьёз рассматривают сценарий, при котором ИИ способен уничтожить человечество. По его личной оценке, вероятность такого исхода в ближайшие десять лет составляет более 10%. При этом исследователь подчеркнул: Anthropic старается решить проблему, но пока «не имеет плана» для обеспечения безопасности сверхразума и не выглядит компанией, которая уверенно движется к такому решению.

Главной причиной опасений Хубингер назвал возможное появление сверхинтеллекта в результате рекурсивного самосовершенствования. По его словам, этот процесс уже развивается быстрее, чем ожидалось ранее. При этом Anthropic в своём последнем отчёте оценила риски, связанные с современными моделями, как низкие, что, по мнению исследователя, не решает проблему будущих значительно более мощных систем.