rai220/car_robot

🤖 Отпускной пост про DIY роботов. Год назад я писал про VLA и предсказываал, что рано или поздно появится универсальный водитель роботов : ИИ, который умеет управлять любым роботм вне зависимости от их конструкции ( тот пост ). По моим прикидкам появление такой модели будет для роботехники тем же, чем стало появление больших языковых моделей для NLP Уже тогда было понятно, что одной моделью не обойтись. Роботу, как и человеку, нужны как минимум две системы по Канеману : быстрая (система-1), которая управляет роботом в реальном времени, и медленная умная (система-2), которая понимает задачу целиком и управляет стратегией. С тех пор так собирают почти все: Helix у Figure, GR00T N1 у Nvidia, Gemini Robotics у Google, π0.5 у Physical Intelligence - а Figure с Nvidia прямо ссылаются на Канемана Я робототехникой (пока) серьезно не занимаюсь, но иногда развлекаюсь в свободное время. На этот раз купил на Озоне вот такую машинку - камера, ESP-32, wifi (~1800 рублей!) и собрал на ней следующий прототипчик: - система 1 : Depth Anything режет картинку на лево-центр-право, считает где свободнее, и сама рулит. Тупая и быстрая, отвечает ровно за одно - не убиться об мебель - система 2 - это VALM: попробовал Gemini 2.5 Flash / Flash-Lite и локальный Qwen2.5-VL (7B, 4 бита, прямо на маке) - модель может оценить историю фото, работать с промптом, в котором описано что нужно сделать, обнаруживать сложные ситуации (застряли, наехали на провод и т.д.) и выдавать управляющие команды в виде JSON Structured Output Промпт был типа такого: Ты управляешь игрушечным двухколесным роботом-тележкой. Найди желтый каток-асфальтоукладчик и подъедь к нему. Старайся не съезжать с ковра и не заезжай под мебель. Тележка едет, объезжает препятствия, ищет игрушку. Но в том же старом посте я жаловался на проблему VALM моделей - у них нет нормальной рефлексии. Когда робот запущен, он не может осознать глобальные проблемы, например, что он фатально застрял, сломался, неправильно настроен или выполнение