collections/occ-ai/occ-rag

Наши исследователи разрабатывают ИИ-системы, не требующие больших вычислительных мощностей Они выложили в открытый доступ OCC-RAG. Модель обучена отвечать на вопросы по внешним источникам, связывать факты из нескольких независимых частей текста, опираться только на предоставленный контекст и отказываться предоставлять ответ, если данных в источнике не хватает. Благодаря компактному размеру модель обрабатывает запросы в 1,5–2 раза быстрее решений на базе больших языковых моделей, тратя при этом на генерацию ответа в среднем в 1,5 раза меньше токенов. Следующий шаг — научить систему самостоятельно пользоваться внешними инструментами и находить недостающий контекст. При поддержке Сбера мы работаем над созданием семейства ИИ-моделей Optimal Cognitive Core, сосредоточенных не на хранении знаний, а на способности анализировать информацию, строить логические связи между фактами и корректно работать с внешними источниками данных. Технический репорт | GitHub | GitVerse | HuggingFace | Forbes