所有文章
阅读时长 1 分钟

RAG 不是不胡说了,它只是更会把问题藏起来

三个 PDF 上跑通,不代表放进真实资料库也可靠。切分、向量、召回和资料过期,任何一环都可能让它看起来很像答对了。

RAG 生产失败诊断封面

RAG 在演示中成功,不代表资料规模、权限和更新频率增加后仍可靠。生产排障要沿着入库、检索、重排和生成逐段保留证据。

先确认正确资料是否存在

检查文档版本、解析文本、OCR、表格和权限标签,确认正确内容已经进入当前索引。为文档保存内容哈希、更新时间和索引版本,避免拿旧索引调模型。

查看每一步候选结果

保存原始查询、改写查询、向量与关键词候选、过滤原因、重排分数和送入模型的最终上下文。这样才能区分“没找回”和“找回后被过滤”。

验证答案与证据关系

逐句检查事实是否能在引用片段中找到,并确认片段来自用户有权访问的最新文档。修复后用同类问题回归,而不是只重跑那一个案例。

上线前检查

  • 索引版本可追踪到原文件
  • 检索各阶段候选可检查
  • 权限过滤发生在内容交给模型之前

资料来源

相关阅读