Whisper для транскрибации: что это за нейросеть и что нужно, чтобы расшифровать ей запись

Whisper это нейросеть для распознавания речи, которую OpenAI выложила в открытый доступ в 2022 году. Она превращает речь в текст, сама определяет язык записи и ставит пунктуацию. На ней и похожих моделях построено большинство современных сервисов транскрибации.

Я делаю Telegram-бот для расшифровки @iscribe888_bot и много работаю с распознаванием речи. Поэтому расскажу и про саму модель, и про то, что на самом деле нужно, чтобы получить из видео готовый текст.

Как устроен Whisper

Whisper построен по схеме «кодировщик и декодировщик». Кодировщик превращает звук в числовое описание, декодировщик по нему пишет текст, слово за словом, опираясь на то, что уже написал. Модель обучали на 680 тысячах часов аудио из интернета на разных языках, поэтому она привыкла к живой речи, акцентам и шуму.

Звук модель слушает кусками по 30 секунд. Как превратить в текст часовую лекцию, решает уже тот, кто модель запускает: запись нужно порезать, обработать по частям и склеить так, чтобы не потерять слова на стыках.

Версии модели

Чем больше модель, тем точнее текст и тем мощнее нужно железо. Маленькие версии работают на ноутбуке, но на русской речи ошибаются заметно чаще.

Что Whisper умеет и чего не умеет

Умеет:

• распознавать речь примерно на сотне языков и определять язык сам;
• ставить пунктуацию и разбивать текст на предложения;
• справляться с акцентами и умеренным шумом.

Не умеет:

• скачивать видео: ему нужен готовый аудиофайл;
• разделять говорящих, текст получается сплошным;
• делать краткое содержание;
• отличать речь от пения: если в записи песня, он распознает её слова;
• угадывать, как пишутся названия: если бренд произносят по-русски, он будет записан по-русски.

Где распознавание ошибается

По расшифровкам, которые я делал в последние дни, слабые места у распознавания речи одни и те же, и они не зависят от длины записи:

• названия, которые звучат не так, как пишутся: нейросеть Claude превращается в «Клода», видеоредактор CapCut в «капкад»;
• редкие имена: фамилия Терушкин стала «Тирушкин», имя игрового персонажа записалось шестью разными способами;
• речь поверх музыки: в игровом стриме, когда начиналась музыка, пропадала пунктуация;
• быстрые нарезки и смазанная речь: «код из СМС» превратился в «козы ДСМСки».

Обычная речь без шума при этом распознаётся почти без ошибок, включая термины: «микробиота», CRM, BRCA. Подробный разбор с причинами есть в статье про точность транскрибации.

Запустить самому или взять сервис

Запустить Whisper самому можно, и для программиста с мощной видеокартой это разумный путь. Но чтобы из ссылки на видео получился готовый документ, понадобится сделать всё, чего модель не умеет:

Именно эту обвязку делает сервис. В моём боте это выглядит так: отправляете в @iscribe888_bot ссылку на видео или аудиофайл до 20 МБ и через минуту-две получаете DOCX, а под ним кнопки пересказа и разметки по спикерам. Часовое видео на большом пакете стоит около 40 ₽, новому пользователю бот даёт 20 минут бесплатно, чтобы сравнить самому.

Частые вопросы

Whisper бесплатный? Код и модели открыты, скачать их можно бесплатно. Но чтобы большая модель работала быстро, нужна видеокарта, а на обычном компьютере часовая запись может обрабатываться дольше, чем длится. Плюс нужно уметь запускать Python-скрипты.

Whisper умеет разделять говорящих? Нет, он выдаёт сплошной текст. Разметку «кто что сказал» делают отдельными инструментами поверх распознавания.

Whisper скачивает видео по ссылке? Нет, он работает только с аудиофайлом на вашем компьютере. Видео с YouTube, Rutube или VK сначала нужно скачать и вытащить из него звук.

Какая версия Whisper самая точная? Самые точные модели семейства large. Версия large-v3-turbo заметно быстрее large-v3 при близком качестве.

Ещё по теме: точность транскрибации, что такое транскрибация, разметка по спикерам.