当前,工程团队面临一个核心拷问:AI 是否真正提升了软件构建能力?在投入大量 Token 成本并重塑协作流程后,厘清回报至关重要。

业界对此通常分为两派:一派关注代码行数、Token 消耗等活动量指标;另一派则主张跳过过程,仅衡量最终“价值”。LaunchDarkly 近期发布的“发布自动驾驶仪”即为后者代表,其目标是最大化单位人类注意力时间内交付的价值。

然而,“价值”往往是滞后信号,受多部门决策影响,难以量化;而追踪“人类注意力”则容易陷入工时管理的窠臼。相比之下,更务实的做法是审视吞吐量与稳定性:如在人员不变的情况下,合并拉取请求(PR)翻倍、关键故障处理时间大幅缩短。这些指标虽非直接等同于价值,却是更可靠的证据。

成果由产出构成

“重成果轻产出”是产品开发的常见口号,但成果需通过持续交付产出来实现。这遵循 OODA 循环(观察、调整、决策、行动):首次发布往往并非最优,而是为了学习与调整。完成“价值发现循环”的速度越快,累积价值越高。因此,产出是价值的代理指标。

重启“工程生命体征”

工程部是价值发现循环的主要推动者。随着 AI 赋予产品经理和设计师类似工程师的能力,所有贡献都将反映在工程数据中。Octopus 重启“工程生命体征”度量体系,旨在基于数据消除交付障碍,而非凭感觉判断。

AI 带来的核心变革是海量变更流量。两人小团队成为常态,构建发布周期压缩。我们需要验证:在保持服务等级目标(SLO)的同时,AI 驱动的调整是否加速了价值发现循环?具体需回答:

  • 变更发布频率及渐进式发布情况如何?
  • 工程反馈回路是否符合速度与可靠性标准?
  • 在人员稳定前提下,变更量是否随智能体工作流深入而增加?
  • 是否启动了此前被搁置的维护性工单?
  • 运维负担是否减轻,质量是否同步提升?

三大度量领域

Octopus 将生命体征划分为三个领域:

  1. 交付目标:衡量交付管道有效性,由各团队设定 SLO。包括部署前置时间、PR 变动率与审查延迟、恢复时间、构建稳定性及批次大小。
  2. 质量目标:衡量发布内容及开发者体验,由 CTO 负责全组织 SLO。包括 Sev 0-2 级缺陷计数、R&D NPS。
  3. 趋势:不设 SLO,仅提供洞察。如 PR 总量,用于验证“海量变更流量”假设。

为何弃用“变更失败率”

Octopus 明确不衡量“变更失败率”。尽管该比率长期低于 2%,看似健康,但偶发的失败仍对客户造成重大影响。AI 时代,若变更量翻倍而失败率保持不变,到达客户的缺陷绝对值也将翻倍,但比率指标却纹丝不动。客户感知的是缺陷本身,而非百分比。

因此,Octopus 采用计数法:每月统计到达客户的 Sev 0-2 级缺陷数量。作为“零号客户”,任何影响内部的问题均被视为影响客户,无论由谁发现,均记录严重程度。

对于速度代理指标(如 PR 量),Octopus 故意不设目标,以避免古德哈特定律效应——当指标变成目标,它就不再是好指标。PR 量上升、缺陷计数持平且前置时间稳定,才能讲述完整的故事。真正的目标应指向影响速度的杠杆,如“无人工干预即可发布的 PR 百分比”。

行业共识与差异

Gergely Orosz 对 18 家科技公司的研究显示,衡量 AI 影响的指标大多沿袭传统,且普遍将速度与质量指标配对使用。Atlassian 报告指出,中位数 PR 吞吐量翻倍,但工程师信心下降,新客户价值产能份额仅微增。这表明“海量变更流量”已至,但价值未必同步增长。

Dropbox 等公司将释放的产能投入语言迁移等长期维护工作,印证了“以前不做的工作现在开始做”的趋势。与主流不同,Octopus 坚持用缺陷计数替代变更失败率,以更真实地反映客户影响。

结论

AI 未改变工程有效性的核心要素,但放大了流量规模并加速了弱点暴露。衡量“每小时人类注意力的价值”虽美好,却因滞后性和多责任主体而难以指导每周决策。

务实的做法是从可控事物入手:监控交付时长、恢复速度、严重缺陷数量及变更量增长。当工程机器效率指标健康时,若业务指针仍未移动,便能更精准地定位问题所在。先衡量工程效率,再追寻价值。