RAG

RAG Последнее время стал вытаскивать себя из кокона компьютерного зрения, активно изучая NLP , так как современный ML не терпит разделения на модальности. В частности посмотрел курс от ШАДа и Лены Войта , вау человек и такой же клевый курс, зацените, если вдруг кто искал материалы. R etrieval A ugmented G eneration - метод, при котором к запросу пользователя программно добавляется какая-то информация и уже такой комбинированный запрос идет в языковую модель. Что это будет за информация - зависит от вашего приложения, чаще всего это какая-то база знаний или просто результат работы какой-то функции. В чем плюсы и когда используют? 1. Постоянное изменение базы знаний. Невозможно дообучить модель на своих данных, чтобы она смогла ответить на вопрос "какая сейчас погода?". 2. Дообучать дорого. Альтернативой, конечно, является дообучение под вашу задачу, но почти всегда это долго, дорого, сложно и не факт, что что-то получится. 3. Факт-чекинг. Использование RAG это простой способ понизить галлюцинирование модели и повысить интерпретируемость выдаваемого результата. Это не серебряная пуля, но простой шаг в этом направлении. Основной минус подхода: пространство "знаний" модели искусственно ограничено размерами базы данных. Как работает и из чего состоит? Основные шаги: 1. Взять базу знаний и разбить ее на маленькие части ( chunks ). 2. Превратить чанки в вектора ( embeddings ) и сложить в веторную БД. 3. Приходящий запрос пользователя превратить в эмбеддинг, вытащить из БД топ K самых похожих чанков по какой-то мере близости векторов. 4. Приклеить к запросу пользователя чанки и подать это в языковую модель, попросив ее давать ответ на вопрос на основе добавленных знаний. Составляющие: 1. База знаний. Например, набор документов. 2. Векторная база данных. Для хранения эмбеддингов чанков. 3. Encoder. Модель, которая будет переводить подаваемый текст в эмбеддинг. 4. Generator. Модель, которая на основе входящего запроса будет генерировать текст. 3 и 4 пункт не