visual-agent/deepeyesv2

🔍 DeepEyesV2 — открытая агентная мультимодальная модель на базе Qwen2.5-VL-7B, которая умеет не просто понимать текст и изображения, но и активно использовать внешние инструменты. DeepEyesV2 умеет выполнять Python-код для работы с изображениями и данными (обрезка, численный анализ, разметка), поиск по изображению через SerpAPI (топ-5 визуально похожих результатов) и текстовый поиск (топ-5 релевантных веб-страниц). Модель работает циклически: сама решает, когда и какие инструменты вызывать, получает результаты и интегрирует их в процесс рассуждения. Исследователи сначала попробовали обучить модель Qwen2.5-VL напрямую через обучение с подкреплением (RL). Результат оказался неожиданным: на ранних этапах модель генерировала код с ошибками, затем постепенно отказывалась от инструментов и выдавала только короткие рассуждения. Поэтому исследователи применили двухэтапное обучение : - Этап 1. Холодный старт (SFT) Модель учится базовым паттернам использования инструментов. Датасет строго фильтруется — только сложные задачи, где вызов инструментов действительно помогает. - Этап 2 . Обучение с подкреплением RL улучшает навыки вызова инструментов и учит адаптивному поведению. Для оценки способностей восприятия, поиска и рассуждения был создан сложный бенчмарк RealX-Bench. 24% вопросов требуют интеграции всех трех способностей одновременно. Результаты: RealX-Bench - 28.3% против 17% у Qwen2.5-VL-7B, MathVerse: 52.7% (+7.1 п.п.), MMSearch: 63.7% — опережает специализированную MMSearch-R1-7B модель, а иногда превосходит даже Qwen2.5-VL-32B. Веса обученной модели доступны на HuggingFace , код обучения под лицензией Apache 2.0 на GitHub , в открытом доступе и обучающие датасеты: Cold Start данные и RL датасет . #Stateoftheart #Benchmark