collections/nvidia/nemotron-labs-diffusion

Nemotron-Labs-Diffusion: A Tri-Mode Language Model Unifying Autoregressive, Diffusion, and Self-Speculation Decoding [веса есть на HF ] NVIDIA выпустили большой техрепорт про диффузионные языковые модели. Это не работа про объединённое мультимодальное понимание и генерацию в стиле BAGEL / LLaDA2.0-Uni: здесь нет генерации изображений. Но для линии диффузионных языковых моделей статья важная, потому что авторы не пытаются заменить авторегрессию диффузией (как это дедалось ранее), а объединяют авторегрессию, диффузию и самоспекуляцию в одном языковом бэкбоне. Главная идея : авторегрессионный и диффузионный лоссы не обязательно конкурируют. Авторегрессия даёт сильный лингвистический prior слева направо, а диффузия учит модель параллельно предсказывать несколько токенов. Можно попробовать получить обе плюшки обучая сразу на: • авторегрессионный лосс для предсказания следующего токена; • блочную дискретную диффузию на демаскирование токенов; • делать общий бэкбон, но разные маски внимания на инференсе. Получается три режима: 1. Авторегрессия — обычный режим слева направо, полезен для сценария с высокой параллелизуемостью запросов. 2. Диффузионная генерация — полезен когда мало параллельных запросов. Тогда блок токенов восстанавливается параллельно. 3. Самоспекулятивная генерация — диффузионная ветка предлагает несколько токенов, а ветка авторегрессионной генерации той же модели их проверяет. Отдельная “черновая” модель или дополнительная голова многотокенного предсказания не нужны. Технические детали • двухстадийное обучение: сначала 1T токенов только авторегрессии, потом 300B токенов с совместным авторегрессионно-диффузионным лоссом; • вес диффузи чуть меньше (α=0.3); • глобальное усреднение лоссов, такое чтобы случайное число замаскированных токенов не давало нестабильные градиенты; • LoRA-адаптер для диффузионной ветки: только на o_proj, около 36M обучаемых параметров; • отдельный лёгкий семплер для диффузионного режима, который учится решать, какие замаски