Chonkie

chonkie.ai

Лёгкая и высокопроизводительная библиотека для разбиения текста, оптимизированная для Retrieval-Augmented Generation (RAG).

Описание

Chonkie — это open-source библиотека Python, предназначенная для эффективного разбиения больших и сложных документов на осмысленные, независимые фрагменты для использования в Retrieval-Augmented Generation (RAG). Поддерживает различные стратегии разбиения, включая разбиение по токенам, словам, предложениям и семантике, что позволяет разработчикам адаптировать сегментацию текста под свои задачи NLP и машинного обучения. Благодаря минимальному размеру установки и высокой скорости Chonkie ускоряет обработку и улучшает управление контекстом для больших языковых моделей, помогая преодолевать ограничения по количеству токенов и улучшать точность поиска.

Установка

Не знаете, с чего начать — попросите ассистента провести по шагам:

Возможности

Несколько методов разбиения

Поддерживает различные методы разбиения, такие как TokenChunker, WordChunker, SentenceChunker, SemanticChunker и SDPMChunker, обеспечивая гибкую сегментацию текста.

Лёгкость и высокая скорость

Минимальный размер установки (~21MB) и производительность до 33 раз быстрее при разбиении на токены по сравнению с конкурентами.

Простая интеграция

Простой API с установкой через pip и совместимостью с популярными токенизаторами, такими как GPT-2, Transformers и tiktoken.

Оптимизировано для RAG

Разработано специально для улучшения Retrieval-Augmented Generation (RAG) с помощью разбиения документов на контекстно релевантные фрагменты для повышения качества вывода модели.

Модульная система зависимостей

Устанавливайте только необходимые chunkers и зависимости, уменьшая избыточность и повышая эффективность развёртывания.

Сценарии использования

Обработка больших документов

Разбивайте сложные документы, такие как научные статьи, юридические тексты и книги, на управляемые части для обработки LLM.

Улучшенные системы поиска

Повышайте точность поиска и извлечения информации за счёт разбиения текста на семантически значимые сегменты, соответствующие пользовательским запросам.

RAG-пайплайны

Поддержка Retrieval-Augmented Generation за счёт структурированных контекстных фрагментов для языковых моделей во время вывода.

NLP и машинное обучение

Обеспечивает эффективную и гибкую сегментацию текста на этапе предобработки в задачах NLP.

Частые вопросы

Chonkie используется для разбиения больших текстов на более мелкие, осмысленные фрагменты с целью повышения эффективности и точности в Retrieval-Augmented Generation (RAG) и задачах NLP.

Поддерживаются методы разбиения по токенам, словам, предложениям, семантическому сходству и двойному семантическому объединению.

Chonkie оптимизирован для скорости и лёгкости установки, обеспечивая до 33 раз более быстрое разбиение по токенам и меньший размер пакета по сравнению с альтернативами.

Да, интеграция проста с популярными токенизаторами, такими как GPT-2 и transformers, а также имеется простой API для быстрой адаптации.

Да, Chonkie использует модульную систему зависимостей, позволяя устанавливать только необходимые chunkers.

Да, Chonkie — open source под лицензией MIT и свободно доступен на GitHub.

Наибольшую пользу от разбиения на независимые фрагменты получают большие и сложные документы, такие как научные статьи, юридические тексты и книги.

Характеристики

Тип	Инструмент
Категория	Поиск и ресёрч / Инструменты разработчика ИИ
Цена	только платно
Платформа	Только веб
Системы	web
Хостинг	cloud
Установка	saas
Язык сайта	ru
Просмотры	10 369