«Речетекст» опубликовал открытую методику замера точности распознавания русской речи

«Речетекст», российский сервис расшифровки аудио- и видеозаписей, опубликовал открытую методику замера точности распознавания русской речи. Вместе с результатами выложены скрипты, правила нормализации и контрольные суммы наборов данных. Об этом CNews сообщили представители «Речетекст».

Ключевой вывод замера: точность зависит от материала сильнее, чем от системы. Разброс между чистой начиткой и записью с бытового устройства — более чем вдвое, и любое усреднение по срезам этот разброс скрывает.

«Любой сервис распознавания может написать на главной "точность 97%", и проверить это нельзя: цифра ничего не значит, пока не сказано, на каких записях она получена и по каким правилам считалась. Мы решили, что проще выложить методику целиком — со скриптами и контрольными суммами, чтобы наши цифры мог перепроверить любой, включая тех, кто нам не верит», — сказал Александр Привалов, основатель сервиса «Речетекст».

Что опубликовано: результаты по срезам речи, а не одно число: 6,71% ошибок в словах на подготовленной начитке, 7,62% на спонтанной речи, 12,81% на записях с бытовых устройств в шуме; 2398 записей, 3,1 часа аудио, три открытых набора данных; скрипты, нормализатор текста и контрольные суммы файлов; результаты.

«Речетекст» переводит аудио- и видеозаписи в текст на русском языке — реплики разделяются по говорящим, участники подписываются именами, у каждого слова проставлено время. Серверы в России, есть доступ по HTTP из внешнего кода.

• 10 функций Telegram, о которых вы не знали: наводим порядок в чатах