知识库分块不是越小越好

在RAG系统的落地实践中，检索准确率往往是决定用户体验的关键因素。许多团队在优化知识库时，会投入大量时间在Prompt调优、Embedding模型选择和Rerank策略上，却忽略了一个看似基础却极其重要的参数——分块大小（Chunk Size）。事实上，这个参数的优化往往能在短时间内带来显著的效果提升。

默认分块的陷阱

不同文档类型的最佳分块策略

目前主流的RAG框架和SaaS平台大多采用512作为默认分块大小。LlamaIndex默认512，LangChain默认400-1000，这个数值看似合理——大约500字正好是一个段落的典型长度。然而，这个假设成立的前提是，你的文档确实按照这种结构编写。

技术文档的相反规律

通过两组对比实验，我们发现了不同文档类型对分块大小的截然不同的需求。实验使用了100个真实客户问题进行测试。 对于客服Q&A知识库（1200条记录），结果令人惊讶： • 1024 tokens：Top-3命中率61%，Top-1命中率38% • 512 tokens：Top-3命中率71%，Top-1命中率47% • 256 tokens：Top-3命中率89%，Top-1命中率68% • 128 tokens：Top-3命中率82%，Top-1命中率59% 256 tokens表现最优，Top-1命中率比512提升了近21个百分点。客服Q&A的每条记录通常只有50-200字，用512分块会将多条Q&A挤在同一个块中，导致语义混淆。用256分块则能让每条Q&A保持独立，检索时语义纯度更高。

找到你的黄金分块大小

如有侵权，请联系删除。