kyutai-labs/moshi

📝 Инсайты с InterSpeech: SALM-Duplex: Efficient and Direct Duplex Modeling for Speech-to-Speech Language Model code | demo На конференции было представлено около 10 работ по speech-to-speech диалоговым моделям на основе LLM, если не считать обзорные доклады. Одной из самых интересных нам показалась работа Nvidia, которую разберем в этом посте Модель Для понимания входного аудиопотока авторы используют стриминговый энкодер аудио ( FastConformer-CTC 100M ) с контекстом в будущее 80 миллисекунд. В качестве основной модели выбрали TinyLlama-1.1B-chat. Для генерации речи используют NanoCodec — токенизатор аудио от Nvidia, который также был представлен отдельным докладом. Его основные особенности: * использование FSQ и независимых кодбуков — в них нет иерархической структуры. Следовательно, их можно предсказывать параллельно из одного скрытого состояния LLM без задержки * высокое качество при низком битрейте. Авторы экспериментируют с bitrate=0.6kbps и 12.5 токенами для кодирования одной секунды аудио Для генерации токенов аудио расширяют словарь LLM + добавляют 4 головы для генерации токенов по каждому из кодбуков. Как соединяют все вместе: * на каждом шаге из одного скрытого состояния llm генерируется текстовый токен + 4 аудио токена из каждого кодбука * LLM обуславливается на сгенерированные токены + входной сигнал от пользователя: эбмеддинг текстового токена складывается с эмбеддингами для генерируемых аудиотокенов и непрерывным эмбеддингом от пользователя. Таким образом, LLM говорит и слышит одновременно * между генерируемыми текстовыми и аудио токенами нет выравнивания по времени: токены генерируются независимо, в текстовом канале токены кончаются раньше, после этого модель отдает паддинги. Авторы упоминают, что пробовали выравнивать генерируемые токены на уровне слов, но не увидели улучшений Данные Авторы используют исключительно синтетические данные: * внутренний датасет распознавания речи → генерация ответа ассистента по текстовой транскрипции → си