gair-nlp/davinci-magihuman

🎬 daVinci-MagiHuman: открытая модель генерирует видео с липсинком длиной 5 секунд за 2 секунды на одном H100 Команды SII-GAIR и Sand.ai опубликовали daVinci-MagiHuman — открытую мультимодальную 15B-модель на основе однопоточного трансформера, которая одновременно генерирует видео и синхронное аудио и создает 5-секундный клип в 256p за 2 секунды на одном GPU H100. Базовая модель, дистиллированная версия, модуль суперразрешения и код для запуска доступны на GitHub и Hugging Face под лицензией Apache 2.0. Демо-версия выложена на HF Spaces. Текст, видео и аудио просто складываются в одну последовательность токенов и прогоняются через единый трансформер с самовниманием. Никакого перекрёстного внимания, никаких отдельных блоков слияния модальностей. Это однопоточная архитектура, и главный её плюс — простота оптимизации как на уровне модели, так и на уровне инфраструктуры. На одном GPU H100 дистиллированная модель генерирует 5-секундное видео в 256p за 2 секунды, в 540p — за 8 секунд, в 1080p — за 38.4 секунды. В попарной оценке на 2000 сравнений модель обошла конкуретнов в 80% случаев против Ovi 1.1 и в 60.9% против LTX 2.3. По разборчивости сгенерированной речи daVinci-MagiHuman тоже впереди — WER 14.60% против 40.45% у Ovi 1.1. Модель поддерживает китайский, английский, японский, корейский, немецкий и французский. #Stateoftheart