Как работает офлайн-диктовка на Android с помощью WhisperBoard

Привычный голосовой ввод от Google долгое время оставался стандартным инструментом для набора текста на Android благодаря своей скорости и удобству. Однако появление альтернативных решений вроде WhisperBoard позволяет взглянуть на процесс иначе, предлагая автономное распознавание речи прямо на мобильном устройстве без подключения к интернету.

Традиционный метод голосового набора работает настолько быстро, что слова появляются на экране почти мгновенно. Тем не менее, некоторые пользователи предпочитают инструменты с открытым исходным кодом и локальной обработкой данных, что и побудило протестировать данное приложение.

Особенности установки и настройки клавиатуры

Приложение представляет собой полноценную клавиатуру для Android, созданную на базе проекта HeliBoard. Благодаря этому надиктованный текст можно вставлять напрямую в блокноты, мессенджеры, браузеры и любые другие приложения, а не просто копировать из отдельного интерфейса.

Процесс установки требует определенных действий. Поскольку приложение распространяется через GitHub в виде APK-файла, после инсталляции необходимо активировать клавиатуру в системе, сделать ее основным методом ввода, предоставить доступ к микрофону и настроить голосовой ввод.

В актуальных версиях вместо ранних моделей Whisper используется модель NVIDIA Parakeet TDT 0.6B v3, работающая через фреймворк sherpa-onnx. Вместо выбора между размерами Base и Small теперь используется единая многоязычная локальная модель.

Требования к памяти и режимы работы

Размер загружаемого файла для локальной работы составляет около 671 МБ, поэтому перед началом установки рекомендуется подготовить свободное пространство на накопителе и стабильное соединение Wi-Fi.

Помимо автономного режима, приложение поддерживает облачный режим через сервис Deepgram, а также автоматический вариант, который задействует облако при наличии сети и переключается на локальную модель при ее отсутствии. Использование локального режима гарантирует выполнение всех вычислений непосредственно на смартфоне.

Сравнение производительности и точности распознавания

В тестах стандартный голосовой ввод от Google превосходит аналог по скорости обработки. В заметках Samsung слова появляются на экране параллельно с речью пользователя. В свою очередь, приложение использует схему push-to-talk: требуется удерживать кнопку микрофона, продиктовать фразу, отпустить ее и дождаться завершения обработки.

Подобная пауза становится заметной на длинных предложениях. Если Google обеспечивает потоковое преобразование в реальном времени, то локальная модель требует короткого интервала ожидания перед появлением готового текста.

Точность и автоматическая пунктуация

Точность распознавания находится на достаточно высоком уровне для повседневного использования. Модель поддерживает автоматическую расстановку знаков препинания и заглавных букв, а также распознавание 25 европейских языков. На практике эффективнее всего просто говорить в обычном темпе, доверяя расстановку знаков алгоритмам.

Старые привычки диктовки иногда мешают работе: произнесение команд вроде «точка» или «восклицательный знак» может привести к появлению этих слов в тексте в качестве обычных символов, даже если система уже корректно оформила предложение.

Преимущества автономного подхода

Хотя стандартные инструменты Google работают быстрее, а некоторые устройства Pixel выполняют часть обработки на чипсете, выбор локальной клавиатуры обусловлен другими факторами. Пользователь получает четкое понимание того, где именно обрабатывается его голос.

Выбор локального режима с моделью Parakeet позволяет сохранять работоспособность функции диктовки в условиях слабого сигнала сети или его полного отсутствия. Необходимость ожидания в течение нескольких секунд компенсируется полной независимостью от интернет-соединения и повышенным контролем над обрабатываемыми данными.