Мод NPCTalk для GTA 5: NPC отвечают игроку своими голосами в реальном времени

Энтузиасты из проекта Universal Modder представили NPCTalk — систему на базе искусственного интеллекта, которая позволяет буквально разговаривать с персонажами Grand Theft Auto 5 через микрофон и получать от них сгенерированные ответы в реальном времени. В отличие от обычных игровых диалогов, система не ограничивается заранее записанными репликами. Игрок может подойти к персонажу и обратиться к нему голосом, после чего ИИ формирует ответ с учётом личности NPC, происходящего вокруг и контекста разговора. Реплика затем озвучивается голосом, имитирующим оригинального персонажа.

Технологии и демонстрация

Разработчики уже продемонстрировали технологию на Майкле, Ламаре, полицейских и обычных жителях Лос-Сантоса. Причём NPC способны не только отвечать на вопросы: система может связывать реплики с игровыми действиями и анимациями. Например, персонаж способен выполнить определённую команду игрока или сопроводить ответ подходящим жестом. За распознавание речи отвечает NVIDIA Nemotron ASR, реплики формируются языковой моделью через Cerebras, а для синтеза и клонирования голосов используется Fish Audio Drama 3. Действия NPC в игре обрабатываются при помощи TypeSafe Jev. Сам проект создавался в том числе с использованием Claude Code.

Авторы изначально заявляли задержку менее секунды между обращением игрока и ответом персонажа. Однако техническая документация приводит более реалистичные показатели: при использовании режима push-to-talk NPC обычно начинает отвечать примерно через 1, 15–2, 2 секунды после окончания фразы. При постоянно активном микрофоне распознавание окончания речи может добавить ещё около 0, 7 секунды.

NPCTalk задуман не только как мод для GTA 5, а как набор инструментов, который можно адаптировать и для других игр. Тем не менее речь не идёт о полностью автоматическом решении «в один клик»: для каждого проекта потребуется отдельная интеграция с его игровыми системами. На данный момент готовая реализация продемонстрирована для одиночного режима GTA V Legacy.

Исходный код и инструменты NPCTalk уже опубликованы на GitHub под лицензией MIT. При этом использование некоторых облачных сервисов и серверных GPU может потребовать дополнительных расходов. Разработчик также сообщил, что бесплатная играбельная версия мода для GTA 5 должна выйти на следующей неделе. Создатели отдельно подчёркивают, что система предназначена для одиночных игр или собственных серверов и не должна использоваться для вмешательства в игры с античитом. В случае GTA 5 они прямо предупреждают не запускать GTA Online с установленными скриптовыми хуками.