Точность транскрибации: от чего зависит, на примере реальных ошибок из моих тестов

Точность транскрибации зависит не от длины записи и не от площадки, а от того, что в ней звучит. Обычная речь одного человека без шума распознаётся почти без ошибок. Ошибки собираются в нескольких предсказуемых местах: названия, имена, музыка, перебивания и смазанная речь.

Я сделал бот для расшифровки @iscribe888_bot и за последние дни прогнал через него полтора десятка разных записей: подкаст, вебинар, стрим, интервью, гайды и короткие ролики с пяти площадок. Все примеры ошибок в статье из этих расшифровок, сгруппированные по причине.

Названия, которые звучат не так, как пишутся

Самая частая ошибка. Бот пишет то, что слышит, и если автор произносит иностранное название по-русски, оно и получается кириллицей.

Интересно, что названия, которые автор произносит по-английски, бот пишет правильно латиницей: Sonnet, Opus, Figma, Canva, Notion. А в русской речи с английскими словами («мы хотим berries, blueberry, raspberry») английские слова тоже остаются латиницей.

Имена и редкие собственные названия

Это предсказуемо: распознаванию не на что опереться, кроме звучания, а редкое имя звучит как несколько похожих слов. Если имя повторяется, бот может записать его каждый раз по-разному.

Монтаж и перебивания

В начале подкаста шла быстрая нарезка фраз разных людей. В ней фраза «пить любые витаминки, толку от этого не будет» превратилась в «напить любые витаминки, толкать от этого не будет», а на склейках пропали точки. В основном разговоре того же подкаста, где люди говорят по очереди, текст был чистым.

Музыка и шум

В игровом стриме, пока стример просто говорил, текст шёл с нормальной пунктуацией. Когда начинался бой и включалась музыка, бот перестал ставить точки, и текст пошёл сплошным потоком. Слова при этом распознаны.

Если в записи только музыка, бот распознаёт слова песни: в футбольном ролике под бразильскую песню получился текст песни на португальском.

Смазанная и быстрая речь

В ролике про голосовых мошенников автор изображает мошенника, который говорит быстро и неразборчиво. «Продиктуй код из СМС» превратилось в «Продиктую козы ДСМСки», а «скиньте код из смски» в «скиньте кота за смски». Где речь смазана намеренно, бот пишет то, на что это похоже по звуку.

Сюда же слитное написание: настройка камеры «показ вне кадра» записалась как «вникадра».

Что распознаётся хорошо

Чтобы картина была честной: в большинстве текста ошибок нет. Медицинские термины в подкасте записаны правильно: висцеральный жир, микробиота, BRCA. Термины в вебинаре про маркетинг тоже: CRM и amoCRM латиницей, а NPS кириллицей, «НПС», как спикер его и произнёс. В вебинаре почти на два с половиной часа и 17 тысяч слов самая заметная ошибка была в названии одной школы.

Английский ролик распознан с пунктуацией и абзацами, ошибки того же типа: название сервиса в первом упоминании и пропущенный апостроф.

Разметка по спикерам: свои ошибки

Если включить разметку «кто что сказал», бот распознаёт запись заново, другим движком. Там бывают свои расхождения: в одном месте «контринтуитивно» стало «контраинтуитивно», в другом «Если твой иммунитет» превратилось в «Слышишь, твой иммунитет». Зато в нарезке подкаста разметка, наоборот, записала фразу про витаминки правильно.

Число говорящих бот определил верно во всех тестах: двоих в интервью и вебинаре, четверых в подкасте.

Как получить текст точнее

На своей стороне можно сделать немного, но это работает:

• записывайте ближе к микрофону и без музыки фоном, если запись ваша;
• не нарезайте запись перед расшифровкой, отправляйте целиком, бот режет длинное видео сам;
• после расшифровки сразу ищите в тексте имена, названия брендов и цифры, именно там основные ошибки;
• если бренд повторяется много раз, замените его во всём тексте через «Найти и заменить» за один раз;
• цитату для публикации сверяйте с записью, особенно из нарезок и мест, где говорят одновременно.

Если текст нужен для конспекта, поиска по записи или вопросов нейросети, таких ошибок обычно хватает не замечать. Вычитка нужна, когда текст идёт в публикацию.

Частые вопросы

Какие факторы сильнее всего влияют на точность распознавания? По моим тестам: названия и имена, которые звучат не так, как пишутся; музыка и шум поверх голоса; места, где люди говорят одновременно или речь порезана монтажом; намеренно смазанная речь. Обычная речь одного человека без шума распознаётся почти без ошибок.

Можно ли улучшить точность уже готовой записи? Убрать наложение голосов или музыку из готовой записи почти невозможно. Проще вычитать проблемные места: имена, бренды, цифры и фрагменты с шумом. Поиск по тексту находит их быстро.

Насколько точна разметка по спикерам? В моих тестах бот правильно определил число говорящих везде: двоих в интервью и вебинаре, четверых в подкасте. Ошибки бывают в коротких репликах на стыках, особенно в нарезках.

Влияет ли длина записи на точность? Сама по себе нет. На вебинаре почти в два с половиной часа основной текст был таким же чистым, как на десятиминутном ролике. Точность зависит от того, что происходит в записи, а не от её длины.

Проверить на своей записи: @iscribe888_bot, первые 20 минут бесплатно.

Ещё по теме: что такое транскрибация, как устроен Whisper, разметка по спикерам.