ML

#ML Как и 60 лет назад, нейронки начали часто сравнивать с мозгом, а у мозга есть психологи (хотя и у нейронов уже появляются исследователи настроений). И как и в любой другой области знаний, у психологов есть свой собственный глоссарий, и я решил составить первый словарь по переводу с психологического на язык MLE. Меня осенило когда читал статью Kahneman-Tversky Optimisation — это же идея обесценивание в чистом виде) Итак, первый в мире словарь Psychologist — Machine Learning Engineer: Выборочное внимание (selective attention) — Attention // комментарии излишни, эту статью знают все Выгорание — Vanishing Gradients // градиент ещё где-то есть, но до полезного обновления уже не доходит Газлайтинг — Label Corruption Attack // истинные метки подменены, модель больше не доверяет собственному датасету Гиперконтроль — Hard Attention // фокус в точку Границы личности — Constrained Attention // у каждого входа есть предел влияния на твой hidden state Диссоциация — Stop-Gradient Operation // событие вроде обрабатывается, но связь с чувством “это происходит со мной” разорвана Защитная реакция — Robustness Patch Under Distribution Shift // не исправляет внутреннюю модель, но помогает не развалиться на новых входах Избегание — Early Stopping // обучение прекращается ровно перед тем батчем, где могло стать полезно, но неприятно Катастрофизация — Worst-Case Data Augmentation // из каждого обычного примера генерируем самый страшный out-of-distribution сценарий Накопленная обида — Gradient Accumulation // градиенты копятся несколько шагов, а параметры не обновляются Навязчивые мысли — Neural Text Degeneration // модель застревает в повторяющихся нежелательных продолжениях Низкая самооценка (почти то же что и Синдром самозванца) — In-Distribution Underconfidence // даже на знакомых примерах модель отвечает “вероятно, я ошибаюсь” Обесценивание — Kahneman-Tversky Optimisation // минимум наград за успехи, максимум штрафов за ошибки Отрицание — Missing Data Imputation