nvlabs/qerl

github.com
Visit site

QeRL — фреймворк для обучения моделей с подкреплением, который одновременно снижает требования к GPU и превосходит в точности традиционные методы LoRA и QLoRA.

QeRL — фреймворк для обучения моделей с подкреплением, который одновременно снижает требования к GPU и превосходит в точности традиционные методы LoRA и QLoRA. QeRL комбинирует квантизацию NVFP4 с низкоранговой адаптацией LoRA, ускоряя критически важную фазу генерации выборок (rollout) и снижая потребление памяти на 50-60%. Впервые стало возможным обучать 32B модель с подкреплением на одном GPU H100 , вместо 2-3 GPU, необходимых для стандартных подходов. Важное открытие исследования : шум квантизации, который традиционно считается недостатком, в контексте RL становится преимуществом. Квантизованная модель вносит небольшие систематические ошибки во время прямого прохода, которые увеличивают энтропию вероятностного распределения над токенами. Вместо концентрации вероятности на одном "оптимальном" токене, модель рассматривает более широкий спектр вариантов, что улучшает поиск лучших стратегий решения задач. На модели Qwen2.5-7B-Instruct QeRL достигает 90.8% точности на математическом бенчмарке GSM8K против 88.1% у 16-битного LoRA и 85.0% у QLoRA, скорость при этом в 1.5-2 раза выше. При стоимости H100 в облаке $2-4 за GPU-час, экономия составляет около $1,000 на один эксперимент или $10,000-$50,000 на полный исследовательский проект с множественными итерациями. Фреймворк выпущен под открытой лицензией Apache 2.0 на GitHub . #Stateoftheart

Specs

Type Tool
SectionDirectories & rankings
Site languageen

Hashtags

Found in sources

Similar in «Directories & rankings»

Submit a site to the catalog

Just send the link — we will work out the rest.

We will review what you send and add it to the catalog if it fits.

Not sure how to implement it? We can help

Tell us about your task — we will pick the tools and suggest where to start.

0 / 5000
Verification code

Fields marked with an asterisk are required. Your data is used only to reply.