khrylchenkokirill/deeprecsys

Deep RecSys Course VII. Преодолели экватор курса! Я уже, конечно, знатно подустал, столько лекций делать. Подготовка каждой лекции занимает до четырех фулл-тайм дней даже при условии, что я далеко не все лекции делаю с нуля. Набросать структуру лекции, расписать текстовый скрипт о чем буду говорить (это, по сути, подготовка главы для книги), изучить материал и доуточнить содержимое (пройтись по старым и новым статьям), сделать скелет презентации, добавить иллюстрации и ссылки. К счастью сейчас будет небольшой перерыв на пару недель, после следующей лекции. Планирую посетить Японию :) Вышло седьмое занятие про трансформеры и анализ истории пользователя. Успели покрыть: 1. Ранжирование (DIN, BST, TransAct, OneTrans, MixFormer) 2. Кандген/representation learning (SASRec, BERT4Rec, PinnerFormer) 3. И еще был небольшой recap механизма внимания и трансформеров в начале лекции В лекции должна была быть и четвертая часть, в которой я рассказываю про свои похождения в Яндексе — различные трансформерные модели и архитектуры, которыми мы занимались с командой. Но её не успели, осталось на следующий раз. На семинаре Владимир Байкалов разбирал статьи про моделирование пользователей в Пинтересте — PinnerFormer и TransAct (да-да, там есть и более свежие статьи, но они скорее относятся к поздним лекциям курса; в учебных целях было полезно разобрать именно эти модели). YouTube | Github.