简介
Chonkie 是一款专为 RAG 场景打造的轻量级文本分块（chunking）开源库。“分块”是构建检索增强生成应用时最容易被忽视却极其关键的环节——分块策略直接影响检索质量与模型回答效果。Chonkie 提供了从固定长度、递归、Token 精确到语义感知的多种分块器，让开发者用极少代码就能获得高质量的分块结果。
核心功能
- 多种分块算法：固定、递归、句子、语义等
- 语义分块：基于嵌入相似度智能切分
- Token 精确切分：与模型 tokenizer 对齐
- 轻量高效：安装简单、运行快速
- 多语言支持：适配中文等非英文文本
适用场景
- RAG 知识库的文本预处理
- 长文档切分为可检索片段
- 数据集构建与语料整理
优缺点
优点：
- 轻量无负担，易集成
- 分块策略丰富灵活
- 语义分块显著提升检索质量
缺点：
- 需编写代码使用
- 最佳参数依赖具体场景调试
使用技巧
- 根据文档类型选择合适的分块器
- 结合重叠窗口避免语义割裂
- 用语义分块处理结构松散的内容
- 分块后做检索评测持续优化参数
