所有文章
阅读时长 1 分钟
RAG 不是不胡说了,它只是更会把问题藏起来
三个 PDF 上跑通,不代表放进真实资料库也可靠。切分、向量、召回和资料过期,任何一环都可能让它看起来很像答对了。
RAG 在演示中成功,不代表资料规模、权限和更新频率增加后仍可靠。生产排障要沿着入库、检索、重排和生成逐段保留证据。
先确认正确资料是否存在
检查文档版本、解析文本、OCR、表格和权限标签,确认正确内容已经进入当前索引。为文档保存内容哈希、更新时间和索引版本,避免拿旧索引调模型。
查看每一步候选结果
保存原始查询、改写查询、向量与关键词候选、过滤原因、重排分数和送入模型的最终上下文。这样才能区分“没找回”和“找回后被过滤”。
验证答案与证据关系
逐句检查事实是否能在引用片段中找到,并确认片段来自用户有权访问的最新文档。修复后用同类问题回归,而不是只重跑那一个案例。
上线前检查
- 索引版本可追踪到原文件
- 检索各阶段候选可检查
- 权限过滤发生在内容交给模型之前