comfy-org/comfy-model-tools

В последнем обновлении Comfy (0.27) завезли поддержку INT8-ConvRot весов. Это новый метод квантования (сжатия) весов до 8-битных целых чисел. Вместо вращения всей матрицы целиком, ConvRot делит её на группы. Это снизило сложность вычислений с огромной квадратичной до линейной, что дает сильное ускорение и спасает точность в генерации картинок/видео. Также автор ввел понятие «дисбаланса колонок» и создал оптимальную матрицу, которая решила проблему искажения точности из-за аномалий. В результате INT8-ConvRot квантования веса в половину меньше размером, работают быстрее FP16, и не уступают или превосходят по качеству контента стандартный формат FP8. INT8-ConvRot работает с целыми числами (Integer) вместо плавающей запятой. Для видеокарт (особенно поколения Ampere — RTX 30xx) обработка INT8 проще и выполняется быстрее, чем FP8, а результат должен быть чище за счет устранения математических аномалий (outliers). Для владельцев карт с 8-12ГБ VRAM или меньше, в том числе и серии GTX 10xx (Pascal), генерация контента современными моделями становится на шаг ближе. На примерах в посте оба 15 сек видео (взяты отсюда ) сгенерированы в LTXV 2.3 с разрешением 1920x1088 на 5090 и 128 ГБ RAM. * Первое сгенерено базовой моделью — 268,22 сек. * Второе INT8-CovRot — 140,48 сек. Есть тулза от Comfy для конвертации весов в этот формат. Сами Comfy на хаггинге спешно добавляют в свои репы INT8-ConvRot веса. Уже залили для Wan 2.2 Animate (не базовой модели), Z-Image, SeedVR2, и не только. Автор INT8-ConvRot поблагодарил Comfy за внедрение и говорит , что можно квантовать и до INT4, то бишь делать веса ещё меньше. Причём метод подходит не только для DiT архитектуры, но и для LLM, мультимодалок, и UNet моделей. Гитхаб Хаггинг Бумага