Мой блог
Хакеры обошли искусственное ограничение производительности ИИ на видеокартах Nvidia RTX
Энтузиасты обнаружили способ снять заложенные производителем ограничения производительности в задачах искусственного интеллекта для видеокарт линеек RTX 20, 30 и 40 с помощью новой эксплойт-прошивки. В центре внимания сообщества оказалась уязвимость в защищенном загрузчике, позволяющая существенно поднять скорость матричных вычислений.
Подобные аппаратные ограничения присутствовали во всех поколениях потребительских карт GeForce, где Nvidia заложила правило, при котором FP32-аккумулирование работает вдвое медленнее скорости FP16, в то время как на профессиональных картах Turing и Ampere такого не наблюдалось. Применение модификаций возвращает нативный уровень матричных вычислений, помогая ускорить обработку промптов и генерацию изображений.
Обзор проектов по разблокировке и поддержка поколений
В настоящее время разработчики представили несколько неофициальных инструментов для разных архитектур. Проект gpu-unlock охватывает чипы Ampere (серии GA102, GA103, GA104, GA106), включая RTX 3090 Ti, RTX 3090, RTX 3080 10GB, RTX 3080 20GB с модифицированной памятью, RTX 3070 и RTX 3060 12GB, в то время как модели вроде RTX 3070 Ti и GA103 остаются нетестированными, а один экземпляр OEM-карты RTX 3080 20GB сохранил половинную скорость. Форк gpu-unlock-ada ориентирован на семейство Ada Lovelace, включая флагманский ускоритель RTX 4090 и экспериментальные версии вроде RTX 4090 D, RTX 4070 Ti Super или RTX 4060 Ti 16GB. Для более старого поколения Turing создан отдельный инструмент turing-unlock, адаптированный для модифицированных карт RTX 2080 Ti с увеличенным до 22 ГБ объемом видеопамяти. При этом архитектуры Hopper и Blackwell пока остаются вне зоны досягаемости из-за ограничений безопасности.
Результаты тестов и реальный прирост скорости
Заявленное двукратное увеличение пиковых тензорных показателей на практике дает более скромные результаты, так как реальные рабочие нагрузки растут меньше. Например, для графического адаптера RTX 4090 пиковые показатели на FP16 поднимаются со 165,6 до 331,6 ТФЛОПС, а на BF16 — со 165,5 до 330,6 ТФЛОПС. Однако в тестах матричного умножения cuBLAS GEMM медианный прирост производительности составляет от 12% до 34% (и до 20% для BF16) при лимите питания в 450 Вт, тогда как отдельный порт на Windows для RTX 4070 Ti показал скачок до +80,1% на FP16 и +76,4% на BF16. На видеокарте RTX 3090 Ti показатели выросли на 35% для FP16, на 80% для BF16 и на 94% для TF32 при использовании модифицированного драйвера Nvidia и лимите питания в 450 Вт. Пользовательские отчеты для других карт Ampere показывают прирост BF16 на 25–67% для RTX 3090 (причем минимальный результат в 25% зафиксирован на лимите 225 Вт), 70–73% для RTX 3080 10GB, 56–59% для RTX 3080 с модифицированной памятью на 20 ГБ, 73–81% для RTX 3070 и около 80% для RTX 3060 12GB. Для карт Turing с модификацией на 22 ГБ (включая варианты от Dell и Leadtek) зафиксирован прирост FP16 от 36% до 85% в зависимости от лимита питания и размера матриц. В то же время скорость генерации токенов в чат-ботах и декодирование LLM остаются прежними, так как они напрямую упираются в общую пропускную способность видеопамяти, хотя префилл LLM ускоряется на 14–36%, а диффузионные модели и FlashAttention начинают работать быстрее.
Техническая реализация эксплойта
В основе метода лежит эксплуатация уязвимости переполнения буфера стека в подписанной микропрограмме SEC2 Booter от Nvidia (в режиме Heavy Secure Falcon), которая изначально была обнаружена на чипе CMP 170HX и описана в июньском исследовании Джона Прая. Обнаружение данной лазейки стало возможным после публикации отладочного загрузчика, зашифрованного публичным тестовым ключом. Созданный скрипт с полезной нагрузкой V67 осуществляет точечную запись четырех байт, открывая маску привилегий, чтобы хост мог выставить полную скорость, после чего модуль сбрасывает карту до привязки основного драйвера Nvidia.
Авторы модификаций (включая проекты gpu-unlock, KohakUnlock и turing-unlock) предупреждают пользователей о рисках применения подобных эксплойтов. Вмешательство в работу защищенного сопроцессора может привести к зависаниям системы или хоста, сбоям загрузки ПК, повреждению данных или полной поломке графического оборудования, поэтому действовать нужно предельно осторожно.
