atmyre/casteer

Я сегодня наконец доехала на ICLR в Рио де Жанейро, и прямо сейчас буду презентовать свой постер ! Приходите посмотреть на меня и Andreea (мою коллегу-соавтора из лондонского Huawei) в Pavilion 4 P4-#3208, если вы вдруг тоже тут) Я так и не написала до этого момента про эту статью, давайте напишу хотя бы немного сейчас. Небольшой дисклеймер: возможно, это будет не самый связный и понятный рассказ, потому что я вообще не спала сегодняшную ночь (летела из Лондона в Рио, это 11 часов 🫠 ), и слова из-за этого в связные предложения складываются чуть хуже 👿 Итак, статья CASteer: Cross-Attention Steering for Controllable Concept Erasure — она о том, как перенести идеи representation engineering из LLM на диффузионки и получить довольно простой training-free метод для удаления концептов из диффузий (например, картинок с nudity, violence или copyritghted material), который при этом очень эффективный и сохраняет общее качество генераций модели. Теперь чуть подробнее. Для начала, в чем состоит идея representation engineering из LLM. Где-то году в 2022-2023 было показано, что в LLM работает следующая идея: давайте выберем концепт (например, toxicity) и зафиксируем слой LLMки (например, слой номер 13). Возьмем несколько промптов, на которые LLM отвечает довольно токсично, и усредним активации с этого слоя на этим промпты. Получим "среднюю активацию слоя на токсичные промпты". Возьмем еще несколько промптов, на которые LLM отвечает не токсично, и тоже усредним активации с этого слоя на этим промпты. Получим "среднюю активацию слоя на обычные промпты". Потом отнимем среднюю активацию слоя на обычные промпты от средней активации слоя на токсичные промпты, и получим стиринг вектор токсичности. Это будет как бы вектор в пространстве выходов слоя, который кодирует концепт "токсичности" в модели. А далее при inference модели мы просто будем добавлять или отнимать этот стиринг вектор токсичности от текущих активаций модели на этом выбранном слое. Таким образом мы сможем влиять н