PlayStation 4 запустила ИИ-модель с 9 млрд параметров: 39 токенов в секунду

Разработчик Леонардо Алегрия сумел запустить современную языковую модель искусственного интеллекта непосредственно на оригинальной PlayStation 4, задействовав графический процессор AMD архитектуры GCN. Его проект Garlic LLM превращает консоль Sony, выпущенную в 2013 году, в автономный ИИ-чат-бот, несмотря на отсутствие специализированного оборудования для машинного обучения.

Приложение с открытым исходным кодом запускает модель Qwen3. 5-9B, содержащую 9 миллиардов параметров, полностью локально — без подключения внешнего компьютера и установки Linux. По словам разработчика, система обеспечивает скорость генерации от 31 до 39 токенов в секунду.

Как удалось обойти ограничения PS4

PlayStation 4 изначально не предназначалась для запуска современных языковых моделей. Более того, доступная энтузиастам программная среда консоли не располагает специализированным API для вычислений на графическом процессоре или готовыми библиотеками машинного обучения. Чтобы преодолеть эти ограничения, Алегрия разработал собственные вычислительные ядра GPU на языке OpenCL C и скомпилировал их специально для архитектуры AMD GCN. Вместо использования традиционного графического драйвера приложение напрямую взаимодействует с видеочипом через вручную сформированные командные буферы PM4.

Не менее серьёзным ограничением оказался объём доступной памяти. Оригинальная PS4 оснащена 8 ГБ общей памяти GDDR5, поэтому разработчик применил специальную систему квантования, позволившую сократить размер Qwen3. 5-9B приблизительно до 4, 5 ГиБ. Большинство весов нейросети используют 4-битную точность, тогда как более крупные матрицы MLP, отвечающие за операции gate и up projection, подвергаются 3-битному квантованию. Для KV-кеша также применяется 4-битное представление данных. Благодаря такой оптимизации Garlic LLM поддерживает контекстное окно размером 16 тысяч токенов.

Для повышения скорости генерации Алегрия реализовал механизм спекулятивного декодирования с использованием встроенного блока Multi-Token Prediction (MTP) модели Qwen3. 5. Эта технология позволяет нейросети заранее предсказывать до двух следующих токенов и проверять их за один проход, сокращая количество вычислительных операций. По словам разработчика, внедрение спекулятивного декодирования повысило скорость генерации приблизительно с 22 до 31–39 токенов в секунду. При работе с программным кодом производительность в отдельных случаях достигает 43 токенов в секунду. Подобной скорости уже достаточно для относительно комфортного взаимодействия с чат-ботом.

Тем не менее возможности 9-миллиардной модели остаются ограниченными. Автор отмечает, что подобное решение прежде всего подходит для обычного общения с ИИ и выполнения несложных задач с использованием инструментов. Возможности Qwen3. 5-9B в программировании он оценивает довольно скромно, а контекстное окно на 16 тысяч токенов считает небольшим по современным меркам. Несмотря на ограничения, проект демонстрирует неожиданный потенциал устаревшего оборудования: PlayStation 4, созданная более десяти лет назад исключительно для видеоигр и мультимедийных приложений, теперь способна самостоятельно выполнять вычисления современной языковой модели с миллиардами параметров.