Тэг
инференс нейросетей
Запуск гигантских MoE-моделей на потребительском ПК: иерархическая память и квантование
Разбор технологии иерархического кеширования в движках Strata и Project Maya для локального запуска гигантских языковых моделей MoE на потребительских ПК.
Читать далее 01.




