通过将律所全局知识图谱与智能体(Agent)结合,并在保持同等准确度的前提下,该方案在回答五个全所范围问题时展现出显著效能:

  • 响应时间缩短 73%
  • 输入 Token 消耗减少 92%
  • 模型调用次数减少 66%

构建该知识图谱几乎不消耗模型 Token。系统依据通用起草规则按原文读取事项记录,仅在需要大语言模型进行映射时才进行增强处理。

如何实际构建图谱?

律所的大部分知识隐含在员工脑海、往来邮件及文档链接中。构建过程分为四个层级思考:知识是否隐含在现有数据结构中?能否通过规则提取?哪些连接需语言模型补充?哪种图谱结构最有效且成本最低?这些答案均依赖具体领域并通过实验确定。

大部分图谱要素已现成存在

律所系统已包含图谱的大部分要素:案件管理系统掌握委托人、对方当事人及团队信息;公司登记册提供母公司信息;工时记录表追踪工作内容及计费状态。将这些数据整合至统一平台,可使关联变得显式且可解析。例如,网络搜索可揭示 Meridian Grid Services 隶属于 Halcyon Group,而文档则为这些标记提供底层细节支持。

策略:先规则,后模型填补空白

规则成本低、速度快且可预测,但无法覆盖未编写规则的场景;模型虽能阅读任何内容,但成本高且可能产生幻觉。因此,优先使用规则。仅当出现规则无法读取的事实迹象(如无法解析的日期或缺失数值的责任上限)时,才将相关句子发送至小型模型。模型仅输出图谱所需字段并保存结果,重建时仅需为新文本付费。

测试显示,在重写全部 245 份文档及 5 封归档邮件后,仅将 141 个被标记的句子(不到总句数的 2%)发送给模型,成本低于 5 美分,并将判决和责任上限问题的识别率提升至 100%。若让模型阅读每一句话,成本将是前者的 27 倍,且整体效果并未更优:它虽找到所有截止日期,却误读服务抵扣额为责任上限,并漏掉 4 个规则成功找到的截止日期。

混合模式的遗漏原因明确:部分截止日期因 PDF 换行符导致上下文丢失,规则将其视为标题,致使孤立日期未被识别为缺失项。

构建成本与数据源

图谱可从两类源数据构建:一是纯 JSON 文件(客户、事项、计费人员登记册及文档文本),具有平台无关性;二是基于事项的中心化平台(如 Lexifina),在工作的同时捕获事项记录、文档、邮件及财务账本,无需导出数据但需在上传时进行部分读取。

效能对比:有无图谱的差异

通过让同一模型在有和无图谱两种情况下回答相同问题,验证图谱价值。借助知识图谱,智能体可调用搜索、节点检查、冲突检测等七个工具。对比数据如下:

问题耗时 (s)输入 Token工具调用准确率
跨集团利益冲突审查84 → 50158k → 42k29 → 13100% → 100%
新判决依赖关系55 → 2979k → 21k27 → 6100% → 100%
下月所有截止日期87 → 26236k → 14k47 → 5100% → 100%
未计费时间和核销金额203 → 17787k → 13k67 → 294% → 100%
低于指南的责任上限80 → 1793k → 12k35 → 4100% → 100%
合计509 → 1391.35M → 102k205 → 3099% → 100%

按公开标价计算,无图谱时平均每次运行成本约 17 美分,有图谱时约 2 美分。模型填补空白的 5 美分成本在第一个问题上即可收回;若计入上传读取成本,约 26 个问题后可收回成本。

无图谱时,智能体虽能给出大部分正确答案,但耗时约为四倍,Token 读取量约为十三倍。唯一的准确率差距出现在计费问题上:无图谱智能体在手动汇总工时记录时,漏掉了一个未计费时间略高于阈值的客户。

局限性与未展示内容

测试主要关注起草风格,文档为干净文本,未包含 OCR 错误、表格或修订痕迹。真实记录中的对抗性混乱文本可能导致无图谱智能体出现更多遗漏,实际准确率差距可能更大。

是否值得投入?

知识图谱并非一次性成本。新增或变更文档需重新读取,Token 成本长期存在。此外,还需承担软件适配、规则维护、重建缓存及存储等物流成本。因此,核心问题在于:如何让智能体充分利用律所已有的结构化数据?哪些结构既足够便宜又足够有用?

条款元数据的价值评估

条款元数据占基于事项平台模型支出的大部分,但单独作为图谱来源质量较低:它缺乏责任上限字段,未能找到十个上限中的任何一个;仅找到 13 个截止日期中的 7 个。其成本为 3.15 美元,远高于空白填补法的 5 美分。因此,不建议专门为图谱计算条款元数据。若其为审查和搜索预先计算,合并进去不会增加额外成本,并可补获个别遗漏的截止日期,但更好的修复方法是扩大标记规则。

衍生应用:依赖关系追踪

图谱在内容变化时最具价值。例如,当上诉法院推翻先前判决时,律所需要知道哪些活跃文档依赖于该判决。依赖关系往往间接:条款可能引用案例、后续案例或律所先例。通过标记边缘依赖关系并从案例向后遍历,可定位至相关条款、文档、事项及负责合伙人。由于缺乏引证检索工具,若无此类链接,新判决相关问题只能在有限事项中找到部分结果。