Мой блог
Взломанная PlayStation 5 теперь может запускать локальные ИИ-модели со скоростью более 100 токенов в секунду
Возможности модифицированных консолей продолжают расширяться: энтузиаст представил новую версию проекта PS5LM, которая позволяет запускать языковые модели напрямую на графическом процессоре приставки. Модификация задействует графический чип и расширяет доступный объем оперативной памяти, обеспечивая высокую скорость генерации.
Появление этой возможности стало новым этапом в развитии неофициального софта для консоли. Взаимодействие с нейросетями теперь происходит локально и в офлайн-режиме, а скорость обработки данных на небольших моделях превышает сто токенов в секунду — в частности, модель Llama 3.2 3B достигает показателя в 124 токена в секунду.
Развитие проекта PS5LM и переход на нативный запуск
Ранее пользователь GitHub под ником cobanov опубликовал свой неофициальный порт llama.cpp, чтобы энтузиасты могли запускать ИИ-чаты на взломанных консолях. Та версия работала как полезная нагрузка на центральном процессоре, ограничивая память примерно шестью гигабайтами. Превышение лимита в 6,25 ГБ приводило к зависанию домашнего экрана и системных служб. Такой подход применялся для быстрой реализации самой возможности работы llama.cpp, однако автор изначально планировал задействовать графический чип для запуска более крупных моделей, хотя его опередили с форком.
Эту задачу решил пользователь Reddit u/AdIllustrious7246, который создал собственный форк PS5LM. Ему удалось перевести приложение в нативный режим работы и направить вычисления на GPU. Для этого использовался инструмент PS5_Vulkan — порт графического драйвера RADV, позволяющий передавать инструкции на видеокарту консоли. Несмотря на то, что графическая подсистема PS5 использует компоненты AMD, в штатном режиме она заблокирована и недоступна так же, как видеокарта обычного персонального компьютера. Проект PS5_Vulkan стал одним из решений, сделавших возможными многие хоумбрю-проекты благодаря открытию новых функций GPU.
Производительность и работа с памятью
Благодаря нативному запуску и подключению графического чипа разработчику удалось запустить крупную модель Qwen 3.8-27B (модель с 27 миллиардами параметров), которая обрабатывала около 20 токенов в секунду. Более компактные варианты демонстрируют еще более высокие показатели: Gemma 4 E4B достигает 61 токена в секунду, а Llama 3.2 3B ускоряется до 124 токенов в секунду. На ранних этапах модель объемом 6,8 ГБ приводила к зависаниям и сбоям системы из-за ограничений центрального процессора, но графические процессоры справляются с обработкой языковых моделей гораздо лучше.
Перевод приложения в нативный режим также позволил увеличить объем используемой оперативной памяти до 11,4 ГБ. Кроме того, обновление получило встроенную панель мониторинга. Она выводит информацию о текущей скорости генерации в реальном времени, уровне загрузки центрального и графического процессоров, энергопотреблении, температурных показателях, а также о том, как распределяется память между самой моделью и кэшем KV. Дополнительно обеспечена совместимость с веб-интерфейсом llama.cpp, что позволяет пользователям общаться с языковой моделью удаленно с других устройств через браузер в локальной сети.
