Почему современный смартфон может работать с локальными ИИ быстрее ПК

Запуск языковых моделей в офлайн-режиме долгое время ассоциировался исключительно с мощными настольными компьютерами. Однако современная практика показывает, что смартфон может превосходить ПК в решении подобных задач благодаря специфике мобильного «железа» и оптимизации софта.

В материале рассматривается экспериментальный проект Google AI Edge Gallery, который позволяет запускать локальные нейросети прямо на мобильном устройстве без подключения к интернету.

Возможности локального ИИ на мобильных устройствах

Приложение Google AI Edge Gallery распространяется бесплатно под лицензией Apache 2.0 и доступно как в Google Play, так и в App Store. Программа выросла из экспериментального APK-файла с GitHub и превратилась в рабочий инструмент для повседневного использования. Пользователи могут выбирать из каталога различные открытые модели — например, семейство Gemma 4, загружать их в память телефона и запускать автономно. Ряд моделей с Hugging Face требует предварительного входа и принятия лицензионного соглашения, но после скачивания интернет-соединение больше не требуется, что обеспечивает полную конфиденциальность данных.

На таких устройствах, как Google Pixel 9 Pro и iPhone 18 Pro Max, модель Gemma 4 E4B демонстрирует высокую скорость генерации текста в офлайн-режиме, сопоставимую с облачными чат-ботами. Помимо текстового общения, приложение способно описывать изображения, выполнять транскрипцию и перевод аудиозаписей, а также выводить пошаговый процесс рассуждений модели (при поддержке конкретной версией архитектуры).

Ограничения мобильных платформ

Несмотря на высокую скорость работы, подход имеет свои минусы. Крупные модели занимают значительное место в хранилище (счет идет на гигабайты), а само приложение временами может зависать при загрузке файлов. Кроме того, смартфоны с небольшим объемом оперативной памяти ограничены в выборе доступных для скачивания моделей.

Сравнение производительности с инструментами для ПК

Популярная утилита Ollama позволяет запускать локальные модели на ПК под управлением Windows, macOS и Linux. Тем не менее, при тестировании той же модели Gemma 4 E4B на компьютере с процессором Ryzen 9 5900X, видеокартой Nvidia RTX 3070 и 32 ГБ оперативной памяти генерация текста происходила заметно медленнее, чем на смартфоне.

Ключевые факторы скорости: пропускная способность памяти и GPU

Главным ограничением при генерации текста выступает не столько вычислительная мощность процессора, сколько скорость перемещения весов модели из памяти в вычислительный блок. Каждое слово требует чтения значительной части модели, поэтому пропускная способность шины определяет максимальную скорость работы. В современных флагманских смартфонах используется быстрая память LPDDR5X, разделяемая между CPU, GPU и нейромодулем на одном кристалле, что обеспечивает короткий и широкий канал передачи данных. В то же время старый ПК с двухканальной памятью DDR4 может уступать мобильному чипу по эффективной пропускной способности.

Второй критический фактор — поддержка графического процессора. Ollama официально поддерживает видеокарты Nvidia через CUDA и некоторые карты AMD через ROCm. Если графический чип задействован некорректно или модель не помещается целиком в видеопамять, вычисления перекладываются на центральный процессор, что приводит к резкому падению производительности.

Программная оптимизация

Модели в AI Edge Gallery изначально упакованы под среду выполнения LiteRT от Google и адаптированы под мобильные процессоры с применением глубокого квантования для снижения требований к памяти. В отличие от них, универсальная архитектура Ollama нацелена на максимальную совместимость с самым разным «железом», но уступает в узкоспециализированной оптимизации под конкретные чипы.

В каких случаях ПК всё же побеждает

Превосходство смартфона в тестах говорит скорее об устаревании конкретной конфигурации ПК, чем о технологических ограничениях настольных систем в целом. Компьютер с современной дискретной видеокартой и большим объемом видеопамяти (от 12 ГБ и выше) способен удерживать средние модели целиком в памяти GPU, обеспечивая недоступную смартфонам скорость и возможность запускать более крупные языковые модели.

Аналогичным преимуществом обладают компьютеры Mac на базе процессоров Apple Silicon, где задействован интерфейс Metal и быстрая унифицированная память. Результаты на смартфонах также сильно зависят от конкретной модели телефона: производительность на актуальных флагманах и устройствах среднего класса прошлых лет будет кардинально отличаться.

Перед диагностикой проблем рекомендуется использовать команду ollama ps, чтобы проверить, где именно выполняется модель — на видеокарте, процессоре или распределена между ними. Тестирование на конкретном «железе» остается единственным надежным способом определить наиболее эффективное устройство для запуска локального ИИ.