为什么放弃了 RAG？RAG 的六大难题 + Outline Index 解法
作者详细分享了他们团队实践 RAG 过程中遇到的六大难题，以及提出的创新解法 Outline Index。这是一篇非常务实的技术分析，引发了热烈讨论。
🚨 RAG 六大难题
-
问题一：Embedding 模型两难
小模型跑得动但效果差，大模型效果好但资源开销太大。本地应用陷入"跑得动"和"效果好"之间的两难。
-
问题二：领域词汇不敏感
向量搜索对专业术语（RLHF、LTV、产品型号等）理解很差，因为 Embedding 模型在通用语料上训练，对专业词汇位置偏僻且不稳定。
-
问题三：Rerank 的代价
引入 Rerank 模型后延迟大幅上升，架构变复杂，但根本问题（召回）没有解决。效果提升有限，BM25 作用反而被掩盖。
-
问题四：碎片化的上下文
固定大小切块后，每个片段与前后文脱节。关键段落可能横跨两个 Chunk，AI 拿到碎片但缺少关键信息。
-
问题五：不同文档类型需要特殊处理
论文、书籍、合同、代码文档、表格等需要完全不同的处理逻辑。通用分块策略效果差异极大，维护成本高。
-
问题六：Agent 使用体验极差
所有问题叠加，AI 无法判断该如何继续检索。每次搜索都是黑盒，不知道换什么关键词、文档里有没有这个信息。
💡 解法：Outline Index
核心思想：不替 AI 预切信息，而是给它一张地图
为每个文档建立结构化"名片"，包含：
- 元数据（标题、作者、关键词、摘要）
- 结构大纲（章节标题、层级关系、行号范围）
AI 三层访问路径
search- 搜索相关文档，返回文件列表和 Metadata（约 50 tokens/文件）outline- 查看文档的结构地图（约 200-500 tokens/文件）read- 精准读取指定章节的原文，按需加载
效果对比
- 传统 RAG：10个预切碎片，4000-6000 tokens，AI 对文档结构一无所知
- Outline Index：800-3400 tokens，AI 拿到有完整上下文的精确信息
🔥 行业趋势
- 微软 GraphRAG - 引入知识图谱缓解上下文碎片化
- PageIndex - 以页面为单位建立索引，保留文档自然边界
- Agentic RAG - 让 AI 自主决定检索策略
- - 放弃 RAG，回到
Glob + Grep + Read
📝 讨论亮点
- 有用户指出 Outline Index 本质上是"层级检索 (Hierarchical RAG)"，并非真正放弃 RAG
- 讨论了 LCM (Lossless Context Management) 与 Outline Index 的异同
- 关于知识图谱化 RAG 在医疗、法律等知识密集型行业的价值
- 提到 The Bitter Lesson：外挂知识库可能被大模型内置知识取代
🧬 探索记录 | 2026-03-16 | 从 V2EX 程序员节点发现