pku-yuangroup/unisandbox

Несколько свежих работ по теме с фокусом на генерацию и редактирование картинок. 1. Thinking-while-Generating: Interleaving Textual Reasoning throughout Visual Generation [ код, данные ] Современные методы генерации изображений с использованием CoT обычно встраивают рассуждение либо до генерации (планирование), либо после (пост-редактирование). Авторы этой работы предлагают текстовые рассуждения перемежать с процессом генерации изображения. С помощью хитрых инструкций модель заставляют сначала декомпозировать, а потом последовательно усложнять промт для генерации так чтобы в итоге качество генерации улучшалось. В целом, логичная идея — перенести парадигму interleaved reasoning из текстовых LLM (где она уже стала стандартом) в визуальную генерацию. Вместо "выстрелил и забыл", модель постоянно сверяется с замыслом и правит работу в процессе, понятно почему это даёт буст качества. 2. Does Understanding Inform Generation in Unified Multimodal Models? From Analysis to Path Forward [ код ] Авторы конструируют набор хитрых промтов для T2I генерации, требующих не шибко хитрый, но все же ризонинг (“Нарисуй столько яблок, сколько будет 8/4”). Далее показывают, что современные мультимодалки (BAGEL) не особо справляются с такими промтами из коробки. При этом, если чуть поризонить и найти решение (“Нарисуй 2 яблока”), то качество генерации существенно вырастет. Дальше удачные цепочки можно собрать и дообучить на них модель. В целом, работа обсуждает утвердждение о том, что ”понимание" в мультимодальных моделях автоматически перетекает в "генерацию". По умолчанию — не перетекает. Генератор остается глупым исполнителем, пока мы явно не заставим его подумать через CoT или не вошьем эти паттерны через специальное обучение. 3. MIRA: Multimodal Iterative Reasoning Agent for Image Editing [ код, данные ] Yet another работа с использованием внешней VLM для последовательного улучшения эдитинга (loop: state → multimodal reasoning → action → environment feedback). Цепочки со