NVIDIA открыла веса Nemotron 3.5 Transcribe с управлением транскрипцией через инструкции

28 октября 2026 года NVIDIA представила Nemotron 3.5 Transcribe и опубликовала её веса. Модель объединяет распознавание речи, перевод, определение языка и расшифровку с указанием говорящих. Заявленная поддержка охватывает 40 языков и записи длительностью до часа.

Главное отличие — возможность выбирать вид транскрипции инструкцией на естественном языке при каждом запросе, без переобучения. Можно сохранить повторы и слова-паразиты, убрать речевые сбои, изменить запись чисел или передать список ожидаемых имён и специальных терминов. Для разработчиков это способ настраивать обработку звонков, встреч и отраслевых записей под требования конкретного продукта.

В основе системы — Nemotron 3.5 Lightning с гибридной архитектурой Mamba–Transformer и смесью экспертов. Речевой кодировщик дополнен отдельной моделью диаризации, которая помогает различать участников разговора. Временные метки слов формируются после генерации текста: CTC-адаптер сопоставляет готовую расшифровку с аудио. Эти механизмы описаны в техническом отчёте NVIDIA.

У языковой поддержки есть границы. Согласно карточке модели, для русского предусмотрены распознавание, перевод в обе стороны с английским, многоголосая транскрипция и переключение языков внутри записи. Но набор возможностей различается между языками, а понимание аудио и рассуждения проверяли только на английском. Метки участников различают голоса внутри записи и не устанавливают личности людей.

NVIDIA сообщает о среднем WER — доле ошибок распознавания слов — 4,71% на девяти публичных англоязычных наборах Open ASR Leaderboard и 4,62% в многоязычном тесте на семи языках. Компания называет эти результаты лучшими среди моделей с открытыми весами. Это показатели из материалов разработчика: многоязычный результат не характеризует качество на всех 40 заявленных языках и не заменяет проверку на собственных записях.

Отдельно NVIDIA заявляет пропускную способность до 2238 секунд аудио за секунду на одной RTX PRO 6000 Blackwell Server Edition с 96 ГБ памяти. В отчёте этот максимум относится к 30-секундным фрагментам, весам NVFP4 и декодированию с DFlash2 в Nemotron Transcribe NIM; временные метки в тесте не запрашивались. Оптимизации этого сервера на момент релиза не вошли в открытый код, а опубликованная интеграция с vLLM, по оценке NVIDIA, примерно вдвое медленнее.

Для самостоятельного развёртывания опубликованы варианты BF16, FP8, NVFP4 и GGUF, а также инструменты дообучения в NeMo Speech. Карточка содержит пример запуска BF16 на одной H100 с 80 ГБ памяти через vLLM и обращения к OpenAI-совместимому API. Это модель для обработки готовых записей: внутреннее разбиение аудио на фрагменты не превращает её в сервис потокового распознавания. Веса распространяются под OpenMDW-1.1; NVIDIA указывает возможность коммерческого и некоммерческого использования при соблюдении лицензии и условий сторонних компонентов.