ai-forever/kandinsky-5

🎬 Kandinsky 5.0 Video Lite — новая open source модель генерации видео 🎬 Мы выпускаем Kandinsky 5.0 Video Lite — первую модель новой линейки Kandinsky-5. Модель работает в разрешении 768×512 и при небольшом размере всего в 2B параметров демонстрирует качество, превосходящее предыдущие версии Kandinsky и большую часть актуальных открытых open source решений Генерация видео до сих пор остаётся одной из самых сложных инженерных задач в Generative AI. Причём и как с точки зрения подготовки данных для обучения и распределённого обучения моделей, а затем масштабирования, так и с точки зрения инференса такого рода архитектур. Если картинки уже можно делать фотореалистичными даже на «бытовом» железе, то качественные видео в высоких разрешениях до сих пор можно сгенерировать только большими моделями, которые запускаются на топовых GPU Мы решили это изменить и при разработке сделать ключевой акцент на эффективности: модель Lite компактна, требует меньше ресурсов и генерирует быстрее. Такой результат стал возможен благодаря комплексной работе — от сбора и подготовки данных до инженерных оптимизаций pre-train и сбора качественных данных для SFT. Мы исследовали современные методы оптимизации архитектур и применили собственные наработки для балансировки качества и скорости ⚡️ В открытый доступ мы выкладываем следующие чекпоинты (для генерации 5 сек и 10 сек видео): 💡 SFT : максимальное качество (она же основная Kandinsky 5.0 Video Lite) 💡 CFG-distilled : x2 быстрее 💡 Diffusion-distilled : x6 быстрее при минимальной потере качества 💡 Pretrain : для исследований и дообучения ⚡️ Некоторые технические детали: 💡 Архитектура основана на Diffusion Transformer (DiT) с flow matching (подробнее см. Хабр ) 💡 Pre-train модели осуществлялся примерно на 520 млн изображений и 125 млн видео-сцен 💡 Делали упор на Alignment (в частности, SFT) на качественных визуальных данных, предварительно отобранных большой командой профессиональных художников и дизайнеров. Этот этап дал самый б