atmyre/midsteer

Я на ICML в Сеуле, и тут на main conference аж две мои статьи, чем я очень горжусь! Но и это еще не все, еще две статьи — на MechInterp воркшопе , который будет 10 числа. И сегодня уже через пару часов буду стоять у постера одной из статей (если мне его таки распечатали))), поэтому приходите в HALL A #2606 в первую постерную сессию посмотреть на меня и помочь толпой сделать вид что статья популярна, хах Статья: MidSteer: Optimal Affine Framework for Steering Generative Models ( arxiv link ) Это — вторая моя статья по теме representation engineering, и первая попытка уйти от чисто эмпирического рукомахательного рисерча и сделать что-то более математически/теоретически обоснованное. История такая: как я писала раньше, первой моей статьей по этой теме была CASteer — steering-метод для удаления концептов из активаций диффузионной модели. В CASteer стиринг для удаления применяется довольно наивно, без нормального теоретического обоснования, только что-то вроде "ну вот у нас есть linear representation hypothesis, поэтому логично двигать активацию в сторону анти-стиринг-вектора, и давайте подвинем именно на такой коэффициент потому что такая трансформация сохраняет норму". После того, как я доделала CASteer, мне захотелось понять, как делать стиринг для удаления более фундаментально, т.е. можно ли вывести в некотором смысле лучшее преобразование для удаления концепта из активации. Оказалось, что для задачи удаления такое уже существует. Это статья LEACE : Perfect linear concept erasure in closed form. В ней выводится в некотором смысле лучшее линейное преобразование для удаления концепта из векторов-активаций моделей. Но применяется это в статье только для активаций, которые были получены из модели типа BERT и потом применяются для решения какой-нибудь downstream задачи классификации. То есть, метод не применяли на активациях LLM/диффузий, чтобы влиять на их генерацию. Разобравшись с LEACE, оказалось, что обычный activation steering для удаления концептов из актива