Вдвое быстрее и вдвое меньше

Вдвое быстрее и вдвое меньше. В Glimpse 1.3.1 мы заново построили то, как Parakeet TDT V3 работает на Apple silicon. Короткие диктовки готовы меньше чем за 30 миллисекунд, 9-минутная запись занимает меньше 2 секунд, а загрузка уменьшилась до 549 МБ. Каждое слово распознаётся так же точно, как раньше, и целиком на вашем устройстве.

Поразительно быстро

На M2 Pro, по сравнению с Glimpse 1.3.0:

• Короткие диктовки в 2,5 раза быстрее. 27 мс вместо 68 мс. Фрагменты короче 5 секунд занимают всего 16 мс.
• Длинные записи в 2,4 раза быстрее. 9-минутная запись занимает 1,8 секунды вместо 4,2.
• Загрузка вдвое меньше. 549 МБ вместо 1,1 ГБ.
• Меньше памяти. Примерно на треть меньше во время диктовки.

Переработано от начала до конца

Ускорение дал каждый этап конвейера. Декодер теперь читает 8-битные веса модели напрямую, и обращений к памяти становится вчетверо меньше. Neural Engine кодирует следующую часть записи, пока декодируется текущая. А новый энкодер есть в версиях на 15, 10 и 5 секунд, так что короткая диктовка идёт на самой маленькой из подходящих.

Так же точно

Каждое изменение проверено на 14 058 записях: полные тестовые наборы LibriSpeech, FLEURS на всех 25 языках, которые поддерживает Parakeet, длинные записи, тишина, числа и имена. Ни один язык не стал хуже, а слова из вашего словаря распознаются правильно так же часто, как раньше.

И быстрее на Windows

Та же работа ускоряет локальные модели на Windows и переносит Nemotron на видеокарту на обеих платформах.

• Parakeet на видеокартах в Windows. 9-минутная запись занимает 5,2 секунды вместо 7,4.
• Parakeet на ПК без поддерживаемой видеокарты. До 5 раз быстрее на процессорах с большим числом ядер.
• Nemotron на Windows. Записи и файлы Библиотеки обрабатываются на видеокарте за 2,8 секунды вместо полутора минут. Живая диктовка ощущается так же.
• Nemotron на Mac. 9-минутная запись занимает 6 секунд вместо 47.

Доступность

Glimpse 1.3.1 уже доступен для Mac и Windows. Если ваша модель Parakeet TDT V3, Glimpse один раз загрузит новую версию в фоне и продолжит работать, пока она готовится. Для Mac на macOS 14 есть версия, настроенная под этот выпуск. Диктовка по-прежнему бесплатна и без ограничений, с любой моделью.