Whisper на тихой записи пишет «Продолжение следует». Сравнил его с Nemotron от NVIDIA
Если дать Whisper тихую запись с шумом, он часто возвращает пустую строку или пишет «Продолжение следует». Иногда ещё «Редактор субтитров А.Семкин». Эти фразы он выучил на субтитрах к фильмам и вставляет их туда, где не разобрал речь. На музыке без слов он у меня тринадцать раз подряд написал «Продолжение следует...».
Я разработчик, у нас агент расшифровывает голосовые сообщения, вложенные аудио и записи встреч. Всё это сейчас идёт через Whisper turbo. Когда NVIDIA выложила Nemotron 3.5 Transcribe, я прогнал её рядом с Whisper и ещё тремя моделями, чтобы понять, стоит ли менять.
На чём проверял
Первый прогон я сделал на синтетическом голосе из macOS с добавленным шумом и выкинул его: такой звук ничего не говорит о живых людях. Второй прогон шёл на открытом наборе записей Сбера Golos. Это 33 фразы, сказанные в дальний микрофон (тихо, как с другого конца комнаты), и 30 фраз, записанных на телефоны разных людей. Из них я сделал ещё три версии: с шумом поверх, со звуком телефонного звонка (узкая полоса и сжатие, как в сотовой связи) и одну склейку на две минуты.
Пять моделей, около 850 запросов, везде указан русский язык. Числа перед сравнением я привёл к одной записи, чтобы «427» и «четыреста двадцать семь» не считались ошибкой.
Что вышло
Nemotron ошибалась реже везде. На тихом дальнем микрофоне у неё 6,5 ошибки на 100 слов, у Whisper 41. На той же записи с шумом 11 против 99: Whisper в 21 случае из 33 вернул пустоту, а в остальных писал выдумки про субтитры. На телефонах 5 против 26, на звуке звонка 14 против 35. На двухминутной склейке разрыв меньше всего: 6,5 против 13.
Интересно, где именно ломается Whisper. Не на шуме, а на тихом звуке. Когда я поднял громкость тех же записей, ошибок у Whisper large-v3 стало 11% вместо 36% без шума и 32% вместо 99% с шумом. Nemotron громкость почти не нужна.
Две другие модели, Qwen3-ASR и Voxtral Small, встали между ними: 13–37 ошибок в зависимости от записи. Voxtral показал худшее поведение на пустом звуке. На тишине он сочинил целую фразу: «В 1990 году он был назначен на должность директора по связям с общественностью в компании „Дженерал Моторс“». Для расшифровки рабочих звонков такая модель опасна: выдумку в протоколе встречи никто не заметит. Nemotron на тишине, шуме и музыке в основном молчала, один раз написала «I.» и один раз «The.».
Слабое место Nemotron в английских словах. «Grafana» у неё стала «графеном», «API» стал «эпиком». Это лечится подсказкой: если передать ей список терминов, она пишет их правильно.
Почему не поменяли
Nemotron в десять раз дороже. У провайдера час аудио стоит около 12 рублей против 1,2 рубля у Whisper turbo. На наших объёмах за месяц это примерно 1000 часов записей и плюс 11 тысяч рублей. Сумма небольшая, но она растёт вместе с каждым клиентом, который присылает записи встреч.
Она и медленнее. Короткую фразу расшифровывает примерно за 3 секунды против 1,5 у Whisper, двухминутную запись за 7,5 секунды против 4,7. Когда человек надиктовал сообщение и ждёт текст, лишние полторы секунды заметны.
Я попробовал схему «сначала Whisper, а если он не справился, Nemotron». Пустой ответ или «Продолжение следует» поймать легко, у нас такая проверка уже есть. Если отдавать Nemotron только такие записи, на неё уходит четверть файлов, и ошибок становится 32% вместо 51% на всём моём наборе. Но на телефонном звуке проверка не сработала ни разу. Там Whisper ошибается уверенно: пишет «в рубе игру» вместо «вруби игру», пропускает цифры в номере. Чтобы ловить и такие случаи, на Nemotron пришлось бы отправлять 60% записей. Каждую из них мы оплачиваем дважды и человек ждёт дольше, а экономия против «всегда Nemotron» выходит около трети.
У NVIDIA есть и маленькая потоковая версия, Nemotron ASR 0.6B, по цене Whisper. На коротких фразах она лучше Whisper (7 ошибок против 26 на телефонах), но на двухминутной записи хуже: 30 против 13, и работает втрое дольше. Для записей встреч она не подходит.
Поэтому по умолчанию оставили Whisper. Nemotron скоро появится в настройках как отдельный выбор для шумных записей, с предупреждением о цене. Следующий шаг: запустить её на своих серверах и посмотреть, во что обойдётся час аудио там.
Оговорка: Golos состоит из коротких команд голосовому помощнику на 3–8 слов. Это живые голоса, но не живые звонки. На длинном разговоре с перебиванием цифры могут выйти другими.
Вы на чём расшифровываете звонки и встречи? И замечали у Whisper «Продолжение следует» в своих протоколах?