Chonkie

Description

Chonkie — это open-source библиотека Python, предназначенная для эффективного разбиения больших и сложных документов на осмысленные, независимые фрагменты для использования в Retrieval-Augmented Generation (RAG). Поддерживает различные стратегии разбиения, включая разбиение по токенам, словам, предложениям и семантике, что позволяет разработчикам адаптировать сегментацию текста под свои задачи NLP и машинного обучения. Благодаря минимальному размеру установки и высокой скорости Chonkie ускоряет обработку и улучшает управление контекстом для больших языковых моделей, помогая преодолевать ограничения по количеству токенов и улучшать точность поиска.