
哈佛大学博士生Fiona Chen和James Stratton发表的一篇工作论文显示,在采用AI编程代理的公司中,工程师的代码编写量增加了约30%,但完成的工作量并未显著上升,且代码通过审查的时间延长了49%。该研究涵盖了718家公司。
这篇尚未经过同行评审的工作论文旨在衡量当起草速度加快后,人类审查环节发生的变化。本月发布的两项法律AI工具公告——Harvey的驳回动议工作流程以及Cooley正在与Google Cloud共同开发的脱敏代理——均要求律师在类似的审查节点介入,但两份公告均未提供关于该审查阶段效率或耗时的具体数据。
对于电子发现、隐私和合规领域的专业人士而言,这项研究为法律AI采购者提供了一种评估方法:除了起草产出量外,还应考虑已批准的工作成果、修订率以及审查员耗时。此外,AI生成的内容会在协作系统中留下元数据,这可能被记录和法定保存程序所捕获。读者应关注该论文的修订版,以及任何公布审查阶段数据的法律供应商,同时需注意该研究针对的是软件行业而非法律服务本身。
哈佛数据的测量范围
这一模式的可信度取决于数据来源。Chen和Stratton的研究基于Jellyfish公司的数据,该公司销售跟踪工程活动分析的平台,并将其与Revelio Labs收集的LinkedIn就业记录相结合。样本时间跨度从2021年1月至2026年3月,涵盖同意将其数据用于研究的Jellyfish客户公司。论文表格列出了6830万个Jira问题、2.009亿次提交、4910万次拉取请求和2130万个日历事件,尽管718家公司中仅有213家提供了日历数据。
该设计采用了交错双重差分比较法,按月追踪采用AI公司与未采用公司在结果上的变化差异。此类比较的有效性取决于采用时间不同的原因,作者指出这涉及法律和安保团队熟悉的流程,因为企业需在此过程中进行采购。论文指出,采用时机主要受公司何时了解这些工具以及采购周期的影响,包括来源筛选、法律和安保审批以及试点项目。一位受访者的公司仅用一天就批准了工具,而另一位受访者表示平均审批时间为6至12个月。
作者认为这些采购延迟可能与公司的增长速度无关,这支持了对早期采用者和晚期采用者进行比较的观点。他们承认存在一个已知偏差,即规模较大的公司更早采用,但已通过控制公司规模来消除这一因素。如果仍存在某些隐藏差异,作者认为这更可能使AI显得比实际更具生产力,而非更低。这种偏向会使产出不增的结果对AI更加宽容。
当前版本的论文日期为2026年8月4日,初稿日期为1月7日。Chen将其作为求职市场论文分发,本文审阅的版本未显示期刊录用或完成同行评审的迹象。她的网站列出了《华尔街日报》和《经济学人》的报道链接,法律行业媒体也在本月进行了报道。
草稿增加,但完成任务未变
鉴于上述背景,编码结果相当显著。每名员工每月的代码行数增加了1,494行,基准为5,017行,增幅约30%。提交次数增加了20%,拉取请求(即提交审查的代码包)增加了23%。作者指出,这些估计捕捉的是已在拥有AI编程助手的基础上进一步引入代理带来的额外效应,而非从零开始使用AI的效果。
增长止步于产出。论文将完成的工作定义为解决的Jira问题,当代码部署到生产环境时,问题即视为完成。代理使这一指标每名员工每月增加了0.12个问题,基准为3.67,标准误为0.17。这一结果在统计上与零无显著差异,95%置信区间排除了超过基准12%以上的增长可能性,远低于编写的代码量30%的增长幅度。
作者测试了显而易见的解释路径:如果工程师转向了更大的任务,静态的问题计数会低估实际产出。因此,研究人员使用GPT-4o对0.5%的问题样本按大小进行标记,并使用文本嵌入模型将这些标签扩展到所有问题。他们发现平均问题规模没有变化,拉取请求的大小也未增加,从而排除了审查环节发生变化的最简单解释。
短板显现之处:审查队列
论文将短板定位在代码审查环节。从提交拉取请求到合并的时间从基准的7.03天增加到增加3.45天,增幅49%。收到正式变更请求的拉取请求比例从基准的13%增加了约12个百分点,几乎翻倍,每个拉取请求的审查评论数量增加了35%。从事任何代码审查的员工比例从约29%的基础增加了14%,而编写代码的员工比例没有显著变化。
AI审查工具并未消除瓶颈。截至2026年3月,近80%的公司已使用过此类工具,但AI仅生成了23.3%的审查评论,仅有10.8%的拉取请求收到至少一条AI评论。作者写道,即使公司采用此类工具,瓶颈依然存在。论文的访谈展示了团队中的具体情况:一名初级软件工程师描述了一个项目,其中只有一名高级工程师可以批准更改,且每周只能审查一次受访者的代码。“在由AI生成的提交导致一些停机事故后,还出台了新的规定,要求对AI生成的代码进行高级工程师审批,这造成了更多的审查瓶颈。”该工程师说道,作者称其对此引用内容进行了轻微编辑以使其更清晰。
这一叙述符合作者用来解释其数据的模型,该模型包含两个渠道。首先,更快的起草将更多代码发送给固定的审查员池,通过将劳动力转移到审查中可以很大程度上缓解这一问题。其次,变更请求和评论的增加,仅靠更快的起草无法解释,在模型中被解读为草稿质量较低的表现。作者表示,解决这个问题需要更好的技术。任何购买代理的人都应关注哪个渠道占主导地位,因为两者需要不同的资金投入。
就业情况也未发生变化
编码收益并未体现为裁员。估算结果显示,总体就业下降幅度不超过2.9%。另一项噪声较大的估算排除了工程就业下降超过13.8%的可能性。作者警告称,这些是局部均衡下测量的短期效应,可能会掩盖竞争对手公司的失业情况,且工程就业的助理估计显示出向上的前期趋势,使得因果推断变得困难。
法律AI工具围绕类似的审查节点设计
随着法律AI工具采用相关的设计,Harvey和Cooley的公告均遵循这一模式:自动化第一遍处理,然后在关键节点保留人工审核。Harvey的工作流程是与LexisNexis联合开发并于10月7日宣布的,属于起草案例。Harvey表示,阅读投诉、研究和起草驳回动议“通常需要40到50多个小时的工作”,而其工具能在“数小时内”产生研究和初稿。公告描述了“在人律师判断至关重要的时刻设置人工检查点”,但未说明律师在这些检查点上花费的时间或准备可提交的动议所需的时间。
Cooley的10月8日公告将同样的姿态应用于不同的任务,因为其代理推荐脱敏方案而非起草论点。Cooley表示该代理仍在开发中,且律师在文件提交法院前做出所有脱敏决定,这将人工检查点置于提交前的最后一步。正如媒体报道的那样,该公告未提及错误率。
对于在联邦法院提交的动议,检查点是一项法律义务而非设计选择。根据《联邦民事诉讼规则》第11(b)条,提交动议的律师在其知识、信息和信念范围内,经合理调查后,对动议的几方面内容进行认证。其法律主张必须“由现有法律支持或由非轻率的论点支持以扩展、修改或推翻现有法律或确立新法律”。其事实主张必须有证据支持,或在特别指出的情况下,在合理的进一步调查或取证机会后很可能有证据支持。初稿可能在数小时内完成,但这种调查仍由律师负责,软件证据表明审查可能会吸收部分起草节省下来的时间。
文档审查提供了部分先例
发现从业者之前曾争论过类似的问题。他写道,在生成式AI审查方面,发现领域也出现了类似的辩论,一些从业者认为手动验证抵消了收益,而另一些人,包括他自己,认为像预测性编码中使用的统计抽样就足够了。但对于编程代理,他认为额外的审查时间是值得的,因为90%正确的代码仍可能无法运行。
他的比较建议在两种类型的法律输出之间进行有用区分。群体级别的工作,如初步相关性审查,可以通过抽样进行验证。单个文件的提交则不同,因为其引用、事实断言和敏感数据通常需要直接检查,因为一个伪造的引用或一个遗漏的社会安全号码都可能导致失败。采购者可以将这种区分转化为测试。询问供应商其代理产生哪种类型的输出,然后要求提供下游指标而非起草指标:从上传到批准工作成果的时长、退回的草稿比例以及每件事务的审查员耗时。在扩大起草量之前预算审查容量,并记录审查员的更改,因为该日志能显示瓶颈是数量还是质量。
仔细审视论文的局限性及其发现
这些问题也适用于论文自身的来源。数据合作伙伴对该主题有商业利益,且关系超出了数据许可的范围。Jellyfish自称是一个“AI影响平台”,作者曾在其博客上发表文章:Chen和Stratton于2025年9月25日发布的一篇文章自称是“我们与Jellyfish持续工作的一部分”。论文感谢Jellyfish团队“的合作”,并声明Jellyfish仅为了检查专有披露而审阅手稿,而非科学内容,结论归作者所有。其资助方包括Stripe AI经济学奖学金、哈佛肯尼迪学院财富分配项目以及施密特科学AI工作项目。
Jellyfish还推广了该工作的早期版本。Nicholas Arcolano于1月28日在其博客上发表的一篇文章称其为“来自我们哈佛经济学合作者Fiona Chen和James Stratton的新论文的初步版本”,基于500家公司中的10万名软件工程师。该文章及随后3月17日的Jellyfish新闻稿报告称,AI使编码更快,且“代码质量似乎没有受到影响”。8月的版本基于运行至2026年3月的更大样本,通过其模型解读变更请求的近翻倍可能表明草稿质量较低。这两种描述基于不同的版本和样本,因此不一定冲突,但依赖Jellyfish摘要的读者会错过当前论文提出的质量问题。
论文还存在一些不影响主要代理估计的内部不一致之处。其引言将样本四舍五入为约700家公司和70万名工人,正文描述了17次采访,而附录描述了21次。其他限制是结构性的而非文书性的:基础数据是专有的,通过个人许可证使用AI工具的情况未被记录。
尽管2026年3月的数据截止意味着修订可能会改变数字,但这些警告并未推翻核心结果。该论文提供了一个标准,即本文讨论的两个法律公告未能满足的标准:署名作者、披露的方法、置信区间以及测量的检查点。如果一个代理将40小时的研究和起草缩减为数小时,那么有多少小时重新出现在签署动议的律师办公桌上?