che-shr-cat/utm-jax

Прожарка 🔥 Экспериментирую с форматами обзоров. Добавил в свою систему режим Paper Roast — рецензия, которую никто не решается написать. Всё то, что обычно бормочут у постера, но не пишут в ревью: бейзлайн, выбранный потому что остальные не завелись; абляция, отсутствующая ровно там, где было бы больно; заявление из абстракта, которое эксперименты так и не проверяют. Три уровня: 🔥 Medium, 🌶 Spicy, ☢️ Nuclear. Система по ходу чтения ищет в вебе, так что «это уже сделали в 2019-м, а они не цитируют» — это пруф, а не ощущение. И два железных правила: критика только работы, никогда авторов, и каждый удар должен указывать на конкретное место в статье. Экспериментирую на себе: прогнал собственную статью про универсальный трансформер с памятью ( https://t.me/gonzo_ML/5270 ) в режиме Spicy. Наслаждайтесь. ======= Как сломать трансформер и выдать костыли за революцию   Universal Transformers Need Memory: Depth-State Trade-offs in Adaptive Recursive Reasoning Grigory Sapunov Статья: https://arxiv.org/abs/2604.21999 Код: https://github.com/che-shr-cat/utm-jax Ревью: https://arxiviq.substack.com/p/universal-transformers-need-memory Пост про подход: https://gonzoml.substack.com/p/why-i-keep-coming-back-to-universal # TL;DR ЧТО сделали:  Взяли рекурсивный трансформер, отрезали от него всё лишнее, заставили решать судоку через механизм Adaptive Computation Time (ACT) и заявили, что для комбинаторных задач таким моделям фундаментально необходима внешняя память (scratchpad). Заодно "починили" старый баг с инициализацией ACT. ПОЧЕМУ это важно:  Статья служит блестящим примером того, как не надо делать науку. Она наглядно показывает, как можно выдать тривиальный оверфит на трех сидах за архитектурный прорыв. Однако, несмотря на весь пафос, внутри действительно спрятан полезный инженерный фикс, который убережет тех, кто обучает рекурсивные сети, от потери месяцев GPU-часов. Для практиков:  Если вы используете ACT, забудьте совет Грейвса из 2016 года об инициали