FRONTLAB / FIELD NOTES
企业知识库能回答,不等于能交付:引用、权限、更新怎样验收?
先用一组带标准答案、资料版本和访问角色的样本,检查答案依据、权限边界、更新生效和失败处理,再决定是否扩大到更多资料。编号查金额等精确任务,也要比较数据库查询,不能只看问答演示。
先把失败写清楚,再谈模型选型
先准备一组有标准答案的样本
可以从8至12份脱敏文档起步,混入相似编号、不同金额、同名新旧版本和不同可见范围。由业务负责人先写标准答案、依据位置、允许角色,以及资料缺失时应怎样处理。这个数量只是启动建议,不足以证明总体准确率。
每次测试记录账号角色、文档版本、提问、回答、引用和结果。相同问题换角色再问;修改资料后重新提问,并保留失败样本。下表是建议验收项,尚未代表任何系统已通过。
| 检查项 | 样本动作 | 通过时应看到 |
|---|---|---|
| 编号与金额 | 混入相似单据,按指定编号找金额 | 编号、金额、币种及对应原件一致 |
| 原文引用 | 点开回答中的依据 | 定位到正确版本的页、段或表格,依据确实支持回答 |
| 权限过滤 | 普通员工、财务、无权账号问同一问题 | 只取允许资料;答案、摘要和引用链接均不泄露受限内容 |
| 更新与删除 | 更换制度版本,再停用或删除旧件 | 新问题采用约定有效版本,旧件按约定退出检索 |
| 无答案与越权 | 提问库外事项,索要受限资料 | 区分资料不足与权限不足,按规则拒绝或转人工 |
| Agent工具 | 分别测试列工具、调用工具和撤权 | 允许功能可发现且可用,未授权调用被服务端拒绝 |
引用和权限,要验到实际出口
引用不能只显示一个文件名。要检查答案中的关键说法能否对应到原文,链接能否打开正确位置;扫描件、表格和历史入库文档需要单独测。WeKnora官方文档提供原文位置字段,也说明功能上线前入库的文档可能没有该字段。界面出现引用按钮,不等于已有可核对的依据。
权限应由身份与服务端规则决定,再约束检索范围。Dify官方材料展示了元数据过滤,但有过滤选项不等于整条访问链已经隔离。不能让用户仅靠改写问题就更换授权条件。还要检查原文预览、下载与分享链接,避免回答没泄露,附件却能直接打开。
资料维护和工具调用,不能只验一次
先约定谁负责更新、何时生效、旧版本是否保留,以及删除涉及原文件、索引、缓存还是会话记录。RAGFlow官方文档将编辑、停用和删除分块列为不同操作;停用后资料仍可保留,但不参与检索。实际项目应分别验证,不能把上传成功当作答案已更新,也不能把退出检索说成所有副本都已清除。
接入Agent后,能回答之外还要检查能否发现正确工具、能否携带正确身份调用、撤权后是否停止。MCP规范分别定义工具列举与调用,HTTP授权另有规范;采用协议并不会自动补齐业务权限。无结果、无权限和接口故障应分别记录,不能都解释成知识库里没有资料。
有些问题用数据库或人工流程更合适
- 检索适合找制度、操作说明和背景依据。若现成文档系统的搜索、版本与权限已够用,先保留现有SaaS,比较是否还有必要增加问答层。
- 编号查金额、按日期筛订单、汇总数量,优先评估经过校验的结构化字段与数据库查询。AI可以帮助表达查询条件,结果仍须核对字段、单位、关联关系和查询权限。
- 资料互相矛盾、有效版本未定、权限责任未分清时,先由资料负责人整理。涉及付款、合同等重要决定,保留复核与审批;新增问答入口不能替代业务责任。
把交付范围写成双方能复查的记录
验收记录应列明覆盖的文件类型、角色、问题和失败处理,以及维护责任、运行费用与后续扩充方式。先修复样本中可复现的错误,再讨论扩大范围;增加文档、接入新系统或更换权限模型后,应补测受影响的部分。展示几条答对的问题,只能证明这几条样本的表现。
常见问题
有引用就可以信任答案吗?
仍需核对引用是否支持结论、版本是否有效、打开原文的权限是否正确。
样本全部通过,就能承诺准确率吗?
不能。它只说明这批材料、角色和问题的测试结果;新增材料和真实使用表现仍需验证。
来源与延伸阅读
- WeKnora官方API总览 ↗
官方技术来源;2026-10-23读取main原文,页面未显示更新时间。支持原文位置字段、受限API Key与工具/知识库范围说明;不证明任一部署已通过验收。
- RAGFlow官方分块解析与维护文档 ↗
官方技术来源;2026-10-23读取main原文,更新时间未核。支持编辑、停用、删除及部分文件类型的原文预览定位;不保证全部格式可定位或清除全部副本。
- Dify v1.1.0:自定义元数据过滤 ↗
官方技术来源;发布2025-03-18,2026-10-23读取原文。支持字段过滤、版本区分与手动/自动过滤方式;不证明用户身份、下载、分享及数据库权限已完整隔离。
- MCP规范:Tools ↗
官方技术来源;2025-11-25版本,2026-10-23读取原文。分别定义tools/list与tools/call;协议能力不等于部署已实现业务权限。
- MCP规范:Authorization ↗
官方技术来源;2025-11-25版本,2026-10-23读取原文。支持HTTP授权范围与权限不足响应;授权为可选能力,不覆盖所有传输与业务授权实现。
- V2EX:关于RAG本地知识库落地的问题求助 ↗
公开问题来源;发布2024-09-21,2026-10-23读取正文及回复。单文件正常、多文件编号金额关联困难为作者自述;9月24日反馈本地元数据过滤较符合需要。角色与采购意向未核。
- WeKnora历史issue #4511 ↗
公开问题来源;2026-10-20提交,2026-10-21经#4523标记completed;2026-10-23读取。仅支持历史权限能力不一致的报告,不代表当前未修复或已证实采购需求。