datasets/ncspeech/yo-cpt-kk

Мы только что выпустили крупнейший открытый TTS-корпус для казахского языка: 600 часов, 11 839 дикторов. YO-CPT-kk — второй датасет в нашей серии YO-CPT после 6 000 часов русского корпуса, который мы открыли ранее. Это 157 тысяч одноголосных TTS-качества записей, автоматически извлечённых из 47 тысяч часов казахского YouTube. Казахский — язык с ограниченными ресурсами. До сегодняшнего дня крупнейший открытый TTS-корпус содержал 270 часов данных и всего 5 дикторов. В нашем датасете: 2 947 личностей объединены между разными видео; ещё 4 258 подтверждены с помощью анализа лиц; для каждого доступно текстовое описание персоны. В основе — тот же пайплайн, который мы использовали для русского языка, но с одним важным отличием. Существующие open-source ASR-модели для казахского оказались недостаточно качественными для ансамблевого распознавания, поэтому мы обучили три собственные модели: Whisper-large-v3-turbo, wav2vec2-BERT CTC, двуязычный ru-kk FastConformer. Их результаты объединяются пословно с помощью ROVER. Остальная часть пайплайна: каждый сегмент проходит VAD, проверку на одного говорящего и MOS-фильтр с порогом 3.0; аудио очищается от шума, нормализуется по громкости и выравнивается по словам с сохранением таймингов пауз; тексты содержат ударения, пунктуацию, а также нормализованную и исходную формы записи. Лицензия: CC BY 4.0 на аннотации и компиляцию датасета. Корпус предназначен прежде всего для continual pre-training TTS-моделей, но также подходит для ASR, speaker verification и turn detection. Ссылка: https://huggingface.co/datasets/NCSpeech/YO-CPT-kk И ещё один момент. Этот релиз — лишь небольшая часть всего казахского корпуса, который мы обработали. Мы открываем ту часть данных, которая принесёт пользу сообществу, а остальное сохраняем для коммерческих проектов. Идея серии YO-CPT проста: наш пайплайн не зависит от языка. Если для какого-то языка нет подходящих моделей, мы обучаем их сами. Уже есть русский и казахский, дальше — языки, которые н