FRONTLAB / FIELD NOTES

企业知识库能回答,不等于能交付:引用、权限、更新怎样验收?

先用一组带标准答案、资料版本和访问角色的样本,检查答案依据、权限边界、更新生效和失败处理,再决定是否扩大到更多资料。编号查金额等精确任务,也要比较数据库查询,不能只看问答演示。

禺能 FrontLab · 2026-10-23 · 方法说明

先把失败写清楚,再谈模型选型

员工问某张交易单的总金额,系统回答得很顺,却拿了另一张单据的数字。单文件演示正常,放进几百份相似文件后出错,这才是需要验收的问题。一则公开求助描述了编号在文首、金额在文末的关联困难;作者随后反馈,元数据过滤在其本地验证中较符合需要。[6]

另一则 WeKnora 历史 issue 记录了共享库能检索、列举接口却返回403的情况;该 issue 已于2026年10月21日标记完成。[7] 这提示实施时应分别检查发现、读取与调用权限,不代表当前版本仍有此问题。

先准备一组有标准答案的样本

可以从8至12份脱敏文档起步,混入相似编号、不同金额、同名新旧版本和不同可见范围。由业务负责人先写标准答案、依据位置、允许角色,以及资料缺失时应怎样处理。这个数量只是启动建议,不足以证明总体准确率。

每次测试记录账号角色、文档版本、提问、回答、引用和结果。相同问题换角色再问;修改资料后重新提问,并保留失败样本。下表是建议验收项,尚未代表任何系统已通过。

先准备一组有标准答案的样本
检查项样本动作通过时应看到
编号与金额混入相似单据,按指定编号找金额编号、金额、币种及对应原件一致
原文引用点开回答中的依据定位到正确版本的页、段或表格,依据确实支持回答
权限过滤普通员工、财务、无权账号问同一问题只取允许资料;答案、摘要和引用链接均不泄露受限内容
更新与删除更换制度版本,再停用或删除旧件新问题采用约定有效版本,旧件按约定退出检索
无答案与越权提问库外事项,索要受限资料区分资料不足与权限不足,按规则拒绝或转人工
Agent工具分别测试列工具、调用工具和撤权允许功能可发现且可用,未授权调用被服务端拒绝

引用和权限,要验到实际出口

引用不能只显示一个文件名。要检查答案中的关键说法能否对应到原文,链接能否打开正确位置;扫描件、表格和历史入库文档需要单独测。WeKnora官方文档提供原文位置字段,也说明功能上线前入库的文档可能没有该字段。界面出现引用按钮,不等于已有可核对的依据。

权限应由身份与服务端规则决定,再约束检索范围。Dify官方材料展示了元数据过滤,但有过滤选项不等于整条访问链已经隔离。不能让用户仅靠改写问题就更换授权条件。还要检查原文预览、下载与分享链接,避免回答没泄露,附件却能直接打开。

资料维护和工具调用,不能只验一次

先约定谁负责更新、何时生效、旧版本是否保留,以及删除涉及原文件、索引、缓存还是会话记录。RAGFlow官方文档将编辑、停用和删除分块列为不同操作;停用后资料仍可保留,但不参与检索。实际项目应分别验证,不能把上传成功当作答案已更新,也不能把退出检索说成所有副本都已清除。

接入Agent后,能回答之外还要检查能否发现正确工具、能否携带正确身份调用、撤权后是否停止。MCP规范分别定义工具列举与调用,HTTP授权另有规范;采用协议并不会自动补齐业务权限。无结果、无权限和接口故障应分别记录,不能都解释成知识库里没有资料。

有些问题用数据库或人工流程更合适

  • 检索适合找制度、操作说明和背景依据。若现成文档系统的搜索、版本与权限已够用,先保留现有SaaS,比较是否还有必要增加问答层。
  • 编号查金额、按日期筛订单、汇总数量,优先评估经过校验的结构化字段与数据库查询。AI可以帮助表达查询条件,结果仍须核对字段、单位、关联关系和查询权限。
  • 资料互相矛盾、有效版本未定、权限责任未分清时,先由资料负责人整理。涉及付款、合同等重要决定,保留复核与审批;新增问答入口不能替代业务责任。

把交付范围写成双方能复查的记录

验收记录应列明覆盖的文件类型、角色、问题和失败处理,以及维护责任、运行费用与后续扩充方式。先修复样本中可复现的错误,再讨论扩大范围;增加文档、接入新系统或更换权限模型后,应补测受影响的部分。展示几条答对的问题,只能证明这几条样本的表现。

常见问题

有引用就可以信任答案吗?

仍需核对引用是否支持结论、版本是否有效、打开原文的权限是否正确。

样本全部通过,就能承诺准确率吗?

不能。它只说明这批材料、角色和问题的测试结果;新增材料和真实使用表现仍需验证。

来源与延伸阅读

  1. WeKnora官方API总览 ↗

    官方技术来源;2026-10-23读取main原文,页面未显示更新时间。支持原文位置字段、受限API Key与工具/知识库范围说明;不证明任一部署已通过验收。

  2. RAGFlow官方分块解析与维护文档 ↗

    官方技术来源;2026-10-23读取main原文,更新时间未核。支持编辑、停用、删除及部分文件类型的原文预览定位;不保证全部格式可定位或清除全部副本。

  3. Dify v1.1.0:自定义元数据过滤 ↗

    官方技术来源;发布2025-03-18,2026-10-23读取原文。支持字段过滤、版本区分与手动/自动过滤方式;不证明用户身份、下载、分享及数据库权限已完整隔离。

  4. MCP规范:Tools ↗

    官方技术来源;2025-11-25版本,2026-10-23读取原文。分别定义tools/list与tools/call;协议能力不等于部署已实现业务权限。

  5. MCP规范:Authorization ↗

    官方技术来源;2025-11-25版本,2026-10-23读取原文。支持HTTP授权范围与权限不足响应;授权为可选能力,不覆盖所有传输与业务授权实现。

  6. V2EX:关于RAG本地知识库落地的问题求助 ↗

    公开问题来源;发布2024-09-21,2026-10-23读取正文及回复。单文件正常、多文件编号金额关联困难为作者自述;9月24日反馈本地元数据过滤较符合需要。角色与采购意向未核。

  7. WeKnora历史issue #4511 ↗

    公开问题来源;2026-10-20提交,2026-10-21经#4523标记completed;2026-10-23读取。仅支持历史权限能力不一致的报告,不代表当前未修复或已证实采购需求。

阅读 Markdown · 结构化资料 · 智能体定制

START WITH YOUR QUESTION

从脱敏样本讨论起

禺能FrontLab提供AI应用咨询与实施。可先提供脱敏文档目录、允许访问的角色和典型问题,一起讨论样本验证范围,并比较现成SaaS、数据库与定制方案的成本。

讨论样本验证 ↗