maxim-romanovsky/llm-learning-materials

Ликбез про RAG. ч.2. Фундаментальные ошибки. За последние 3 года я пообщался с десятком+ команд из разных компаний, работающих над приложениями на основе RAG.  Две самые частые ошибки, которые я встречал:  - плохая подготовка данных - garbage-in > garbage-out, - отсутствие evaluation (оценки качества) - не возможно улучшать то, что не измеряешь. Разумеется, существует множество других проблем, но это фундамент для всей системы, без которого остальные решения теряют значимость. И самое нелепое, что обе проблемы очевидны с первого взгляда, но из-за сложности их решения, менеджеры зачастую игнорируют их до последнего. 1️⃣   Плохая подготовка данных - самая частая и известная ошибка любых DS/ML/DL проектов.  Я заметил, что она особенно актуальна для Gen AI проектов, потому что люди, работающие над такими проектами часто не имеют профильного образования или опыта работы с DS проектами. Некоторые инженеры всерьез считают, что если они сделали pip install langchain, то теперь они AI Engineer. Уже 3 года веду репо с подборкой бесплатных материалов по AI разработке, чтобы закрыть эту проблему в своих командах: GH repo . Что делать с проблемой плохих данных? Ответ очевиден - чистить.  Самые универсальные советы: - удалять старые и нерелевантные данные, дубликаты, пустые документы, - проверять, что pdf, картинки, диаграммы, Excel, Word, attachements правильно обрабатываются, - эффективно использовать мета-данные и структуру в данных, - вычистить ошибки (фактологические, грамматические), - предпочтительно иметь все тексты на одном языке, - нормализовать онтологию - особенно, актуально для внутрипроектной документации. Когда пишешь это, кажется, что все это какая-то базовая база, но вы не поверите как много людей не задумываются, что не надо игнорировать Excel, прикрепленный к Confluence странице или что невозможно делать нормальный векторный поиск по базе, где 30% документов - это заголовок без дополнительного текста. После того как данные вычищены очевидный следующ