showlab/dim

Draw-In-Mind: Learning Precise Image Editing via Chain-of-Thought Imagination [ код, данные и веса обещают тут ] Yet another генеративка, обученная одновременно на T2I и instruction-based editing, уже не должна никого удивлять. Тем не менее, коллектив Сингапурских академиков и ресерчера из TikTok (не путать с танцующими под музыку блогерами) решили найти свою нишу в эффективности и компактности. Это важно, потому что последние предложенные в этом классе модели были довольно крупными: - BAGEL: 2x7B Qwen + image encoder - NexusGen: 7B Qwen-VL + 10B Flux.1 - Qwen-Image: 7B Qwen-VL + 20B denoiser Метод В этой работе предлагается к 7B Qwen-VL прикрутить SANA1.5-1.6B через небольшой адаптер (2-х слойный MLP). По заветам Qwen-Image, VLM часть остаётся замороженной в то время как адаптер и денойзер полностью размораживаются и дообучаются на задачи генерации и эдитинга. Данные Вместе с моделью авторы предлагают свои T2I и editing датасеты: - DIM-T2I представляет собой 14М не фильтрованных по внешней привлекательности семплов с длинными дескриптивными кепшенами. - DIM-EDIT - 233k триплетов, примечательных тем что инстракты представляют собой chain-of-thoughts (CoT) цепочки. Последний пункт хочется обсудить отдельно. Авторы отмечают, что обычно инстракты в editing датасетах слишком простые и короткие, а потому для хорошего качества генеративной модели хорошо бы сначала порассуждать или додумать конкретику относительно запроса пользователя. Делая инстракты сразу в виде CoT эта необходимость снимается, задача упрощается, качество растёт. *Запишем тут карандашиком, что есть риск доменного сдвига, когда пользователи будут писать свои двух/трёх-словные, супер не определённые инстракты. Эксперименты Модель учится в две стадии: - Первая стадия обучения эдитинга проводится на датасете UltraEdit, который большой, но относительно шумный (содержит много шакальной синты из сравнительно старых и слабых моделей). - Вторая стадия — дообучение на небольшом, но более качествен