NVIDIA Nemotron 3 Diarization в Glimpse

Glimpse, настольное приложение с открытым кодом для macOS и Windows, объединяет голосовую диктовку, запись встреч, транскрипцию и NVIDIA Nemotron 3 Diarization. Модель работает на вашем компьютере и подписывает до 8 говорящих: в реальном времени во время записи и ещё раз целиком после остановки.

Загрузить Glimpse
Кто и когда говорилNemotron 3 Diarization
LeslieBenAnnAndy
0:000:150:300:451:00
говорящих на дорожку
8говорящих на дорожку
меньше ошибок, чем у предыдущей модели
42%меньше ошибок, чем у предыдущей модели
быстрее реального времени на M2 Pro
339×быстрее реального времени на M2 Pro
на диске, при полной точности
106 МБна диске, при полной точности

Коротко

Модель
NVIDIA Nemotron 3 Diarization, построенная на Streaming Sortformer v3. Она отвечает на вопрос «кто и когда говорил» с точностью до 10 мс. Текст она не выдаёт, поэтому Glimpse использует её вместе с моделью распознавания речи.
Где работает
На вашем компьютере, через transcribe.cpp, движок распознавания речи Glimpse на устройстве. Без загрузки в облако, без аккаунта, и работает без Wi-Fi.
Платформы
macOS 14 или новее и Windows 10 или новее.
Говорящие
До 8 на дорожку.
Оборудование
Графический процессор через Metal на Mac и Vulkan на Windows, поэтому видеокарта NVIDIA не нужна. Если GPU нет, модель работает на CPU.
Файл модели
8-битный GGUF (Q8_0), 106 МБ, с теми же результатами, что и полная точность. Версии F16 и F32 опубликованы на Hugging Face.
Распознавание речи
Любая выбранная модель: Parakeet TDT V3, Parakeet Unified, Whisper, Nemotron Streaming или Qwen3-ASR, все локальные. Облачные модели, которые вы добавите со своим ключом, тоже подходят.

Как Glimpse её использует

Подписи говорящих для встреч, звонков, лекций и интервью, от первого слова до экспорта.

  1. 1

    Две дорожки, подписанные отдельно

    Запись хранит микрофон и звук компьютера раздельно, поэтому ваши реплики всегда ваши. Nemotron 3 Diarization обрабатывает каждую дорожку отдельно, так что люди рядом с вами в комнате никогда не путаются с участниками звонка.

  2. 2

    В реальном времени, во время записи

    Транскрипт в реальном времени запускает модель в потоковом режиме с упреждением примерно в одну секунду, поэтому каждая реплика появляется уже с подписью говорящего.

  3. 3

    Полный проход после остановки

    Когда запись заканчивается, Glimpse ещё раз прогоняет модель по каждой дорожке целиком с упреждением в 30 секунд. Это опубликованная NVIDIA настройка для наилучшей точности. Затем подписи говорящих сопоставляются со словами из модели распознавания речи.

  4. 4

    Легко исправить

    Переименовывайте, перекрашивайте, объединяйте или скрывайте говорящих в Библиотеке, или передавайте отдельную реплику другому. Повторное определение говорящих сохраняет данные вами имена. Импортированные файлы обрабатываются так же.

Бенчмарки

На корпусе встреч AMI: 16 реальных встреч, 9,06 часа, с нулевым допуском (collar 0 с) и с учётом перекрывающейся речи. Все строки прошли через один и тот же конвейер. Порт совпадает с эталоном NVIDIA на каждом этапе. Методика и полная таблица в карточке модели.

Доля ошибок диаризации (DER)

Чем меньше, тем лучше. Режим реального времени с упреждением в одну секунду всё равно лучше лучшего результата предыдущей модели.

  • Glimpse, Q8_0упреждение 30,4 с9.23%
  • Glimpse, Q8_0, в реальном времениупреждение 1,04 с9.48%
  • Эталон NVIDIA, fp32упреждение 30,4 с9.22%
  • Sortformer v2.1, предыдущая модельупреждение 30,4 с15.99%

Скорость

Во сколько раз быстрее реального времени на Apple M2 Pro. 10-минутная встреча обрабатывается на GPU меньше чем за две секунды.

  • Nemotron 3 DiarizationGPU (Metal)339×
  • Nemotron 3 DiarizationCPU59×
  • Sortformer v2.1GPU (Metal)105×
  • Sortformer v2.1CPU44×

Модель и исходный код

Частые вопросы

Использует ли Glimpse NVIDIA Nemotron 3 Diarization?

Да. С версии 1.2.7 Glimpse подписывает говорящих с помощью NVIDIA Nemotron 3 Diarization, локально на Mac и Windows. Она используется для транскриптов в реальном времени во время записи, для полного прохода после записи и для импортированных аудио- и видеофайлов.

Это то же самое, что Sortformer?

Nemotron 3 Diarization и есть Streaming Sortformer v3 от NVIDIA. В Glimpse она заменила Sortformer v2.1: на 42% меньше ошибок в целом, примерно вчетверо меньше путаницы между говорящими и вдвое больше говорящих.

Нужна ли видеокарта NVIDIA?

Нет. Glimpse запускает модель через transcribe.cpp, используя Metal на Mac и Vulkan на Windows, поэтому она работает на графике Apple Silicon, AMD, Intel и NVIDIA, а без GPU на CPU.

Работает ли распознавание говорящих офлайн?

Да. Модель загружается один раз и работает на вашем компьютере. Ваши записи никогда не загружаются в облако для распознавания говорящих.

Сколько говорящих она различает?

До 8 на дорожку. Микрофон и звук компьютера идут на отдельных дорожках, поэтому даже звонок, где несколько человек сидят с вами в комнате, а ещё больше на линии, разбирается чисто.

Распознавание говорящих бесплатное?

Распознавание говорящих входит в Библиотеку и Режим записи, которые есть в каждой лицензии Glimpse и в двухнедельном бесплатном пробном периоде. Диктовка бесплатна и без ограничений.

Можно ли использовать конвертированную модель в своём проекте?

Да. Файлы GGUF лежат на Hugging Face под лицензией NVIDIA OpenMDW 1.1, которая разрешает коммерческое использование, и работают с transcribe.cpp. Сам Glimpse открыт под лицензией AGPL-3.0.

Попробуйте на следующей встрече

Диктовка бесплатна и без ограничений. Запись и распознавание говорящих доступны в двухнедельном бесплатном пробном периоде.

Загрузить Glimpse