avaturn-live/avtr-1

Привет всем любителям CV! 👋 Недавно мои знакомые выложили в opensource интересную модель. Итак к новости: Команда Avaturn.live выложила в опенсорс AVTR-1 - авторегрессионный flow-matching трансформер, который рендерит видео с виртуальным аватаром в реальном времени. Модель обучена с нуля и заточена под интерактивные диалоги. 💻 На вход подаётся фото человека и два аудио-потока: речь самого аватара и речь собеседника. 🐱 На выходе видео 25 fps, в котором аватар реалистично говорит и слушает: кивает, держит зрительный контакт, реагирует мимикой. В этом главное отличие от других открытых моделей. Большинство аналогов работают только в липсинк режиме, либо используют закольцованную idle-анимацию, когда аватар слушает. AVTR-1 натренирован на оба режима как на одну задачу. В релиз входят: 🔸 веса модели 🔸 инференс-стек, оптимизированный под TensorRT 🔸 бэкенд для запуска живой диалоговой сессии end-to-end Насколько известно авторам, это первый публичный опенсорс-релиз, где в комплекте идёт не только модель, но и серверный стек для интерактивной сессии. Академические открытые работы выкладывают только исследовательский кода без production-инфраструктуры. Производительность: 🔸 RTX 3070 / 4060 Ti — реал-тайм 🔸 A100 / L40 — более чем 2× быстрее реал-тайма То есть большинству AI-энтузиастов хватит обычной игровой карты, чтобы поговорить с аватаром, а не просто посмотреть демо. По бенчмаркам AVTR-1 обходит открытые аналоги. Ссылки ниже ⬇️ 💻 https://github.com/avaturn-live/avtr-1 🌐 https://avaturn.live 🤗 https://huggingface.co/avaturn-live/avtr-1 #ds_лайфхаки