zju-real/clawgui

📺 ClawGUI: фреймворк полного цикла для GUI-агентов от обучения до запуска на девайсе Исследователи из Чжэцзянского университета представили фреймворк для разработки GUI-агентов ClawGUI . ИИ-агент управляет телефоном или компьютером как человек: нажимает, скроллит, вводит текст без доступа к API. Фреймворк состоит из трёх модулей: ClawGUI-RL для обучения с подкреплением на параллельных эмуляторах и реальных устройствах, ClawGUI-Eval для стандартизированной оценки на 6 бенчмарках, ClawGUI-Agent для деплоя на Android, HarmonyOS и iOS через 12 мессенджеров. Модель ClawGUI-2B была обучена на базе MAI-UI-2B c использованием 64 параллельных Android-эмуляторов на 8 GPU A6000. На бенчмарке MobileWorld GUI-Only она набирает 17.1% — лучше исходной MAI-UI-2B (11.1%) того же размера, и выше Qwen3-VL-32B (11.9%) и UI-Venus-72B (16.4%). Примечательно, что обучение 2B-модели на этом фреймворке могло обойтись авторам относительно недорого. Аренда одной A6000 в облаке стоит от $0.27/час на Thunder Compute до $0.91/час на Lambda — при 8 GPU в сумме от $2.16 до $7.28 в час. Для прохождения коротких специализированных сценариев, таких как тестирование приложения после релиза или заполнение форм, точность после дообучения будет заметно выше, чем на универсальном бенчмарке. Код, веса модели и датасеты доступны на GitHub и HuggingFace под лицензией Apache 2.0. #Frameworks #Stateoftheart