nvlabs/qerl

QeRL — фреймворк для обучения моделей с подкреплением, который одновременно снижает требования к GPU и превосходит в точности традиционные методы LoRA и QLoRA. QeRL комбинирует квантизацию NVFP4 с низкоранговой адаптацией LoRA, ускоряя критически важную фазу генерации выборок (rollout) и снижая потребление памяти на 50-60%. Впервые стало возможным обучать 32B модель с подкреплением на одном GPU H100 , вместо 2-3 GPU, необходимых для стандартных подходов. Важное открытие исследования : шум квантизации, который традиционно считается недостатком, в контексте RL становится преимуществом. Квантизованная модель вносит небольшие систематические ошибки во время прямого прохода, которые увеличивают энтропию вероятностного распределения над токенами. Вместо концентрации вероятности на одном "оптимальном" токене, модель рассматривает более широкий спектр вариантов, что улучшает поиск лучших стратегий решения задач. На модели Qwen2.5-7B-Instruct QeRL достигает 90.8% точности на математическом бенчмарке GSM8K против 88.1% у 16-битного LoRA и 85.0% у QLoRA, скорость при этом в 1.5-2 раза выше. При стоимости H100 в облаке $2-4 за GPU-час, экономия составляет около $1,000 на один эксперимент или $10,000-$50,000 на полный исследовательский проект с множественными итерациями. Фреймворк выпущен под открытой лицензией Apache 2.0 на GitHub . #Stateoftheart