corl-team/vl-dac

Съездили в 🔤 🔤 🔤 🔤 🔤 🔤 на AAMAS 2026, где у нас был oral с работой Enhancing Vision-Language Model Training with Reinforcement Learning in Synthetic Worlds for Real-World Success. В статье мы обучаем VLM-агентов через RL в дешевых синтетических средах: MiniWorld, Gym-Cards, ALFWorld и WebShop. Основная идея — если хотим, чтобы модель не просто красиво описывала картинку, а умела смотреть на состояние мира и делать последовательность действий, то ей нужно дать возможность потренироваться в интерактивных окружениях. Для этого предложили VL-DAC: простой RL-метод, где PPO применяется к action-токенам, а value учится один раз на шаг среды. В итоге убираем хрупкие коэффициенты между thought/action токенами, replay buffers и прочие места, где обычно хочется немного поплакать во время обучения VLM через RL. После обучения в одном дешевом симуляторе модель переносит навыки на реальные бенчмарки: +50% relative на BALROG, +5% на самой сложной части VSI-Bench и +2% на VisualWebBench, при этом не ломая обычное понимание изображений. • Статью можно прочитать тут , а код найти здесь 😉