все видели NLA /J space от антропиков?
все видели NLA /J space от антропиков? Ну типа учат доп модель "reader который читает активации " и по ним отвечает. Вот и я видел, но мне не нравилось что: - кастом модели надо учить с нуля - нельзя смотреть " а была ли модель байеснута при ответе" Ну и я обучил universal activation oracle - училась сразу на разных семействах моделей и через динамическую( там тонкий слой для каждой модели за 20s на цпу чтобы размерности поматчить) можно посмотреть "а что кими3 думает про Путина(ничего хорошего)" - иногда требуется покрутить слой который вы читаете чтобы получить хороший результат, но "почти всегда" работает из коробки на средних слоях. По сути это общее решение для задачи Activation oracle/white box monitoring Велком тыкатся: https://huggingface.co/spaces/AlexWortega/activation-oracle
| Type | Tool |
| Section | Infrastructure & MLOps |
| Site language | en |