
OpenAI周二宣布,GPT-6.2 Astra成为其首款在外部部署并达到“高(High)”级人工智能自我改进阈值的模型。然而,系统卡数据显示,Astra在两项关键测试中并未达到声明的截止线:NanoGPT得分为42.87%(截止线80%),PostTrainBench Lite得分为74.79%(截止线90%)。这意味着该评级主要依赖OpenAI的主观判断,而非所有硬性指标达标。由于未公布五项评估结果的权重分配,外界难以判断这一差距是源于官方的谨慎评估,还是阈值应用过于宽松。
对于依赖OpenAI安全评级的企业买家、监管机构及研究人员而言,这一细节至关重要。系统卡将“高”级定义为完全自动化递归自我改进前的早期里程碑,其影响力相当于为每位研究人员配备一名强力工程助手。相比之下,更便宜的GPT-6.2 Sol及9月发布的GPT-6 Astra均未获得此评级。
Astra五项评估仅一项第二阶段测试达标
OpenAI采用两阶段五项研究工程评估体系。第一阶段测试达到指示性截止线后,方可进入第二阶段。具体表现如下:
- 内部研究调试:Astra得分81.85%,高于Sol(74.66%)和GPT-6 Astra(78.05%),但该阶段未声明具体截止线。
- KernelGen 1P:Astra得分76.92%,同样未声明截止线。
- NanoGPT:衡量减少基线训练时间的比例。Astra得分为42.87%,远超Sol(14.59%)和GPT-6 Astra(7.73%),但未达80%的截止线,且低于最佳人类解决方案的72.38%基线节省率。
- PostTrainBench Lite:衡量缩小性能差距的比例。Astra得分为74.79%,未达90%截止线。值得注意的是,GPT-6 Astra在此项修正得分为76.97%,略高于Astra。
- MLE-Bench Revised:Astra平均参考百分位为96.06,超过第90百分位的截止线,是唯一达标的第二阶段测试。Sol也通过了此项。
尽管Astra在所有五项测试中均优于Sol,且在NanoGPT上的成绩接近Sol的三倍,但其并未在所有指标上超越前代或人类基线。由于缺乏权重说明,外界无法准确评估其综合能力。
评级逻辑不透明引发解读分歧
系统卡指出,五项评估结果共同 informed OpenAI关于Astra符合“高”级标准的判定,但未解释加权机制。这留下了两种解读空间:一是OpenAI出于安全考虑,在指标未全达标时仍给予高级别以触发更严安全措施(谨慎解读);二是阈值应用灵活,可能导致未来评级标准不一(宽松解读)。
外部评估机构的发现也指向不同方向。Epoch AI报告称,Astra在非饱和基准上优于GPT-6 Astra,时代能力指数(OECI)升至174,并在FrontierMath Erdős问题中解决7题,创下新纪录。但Epoch也指出,Astra在设计良好研究实验方面仍存困难。Vals AI则结论认为,Astra不太可能完全自动化AI研究,但能显著提升研究人员生产力。
OpenAI今年9月的披露显示,其自动化研究实习生系统在无干预下成功完成少于15分钟任务的比例为86%,但对于四至八小时的任务,超过一半需要人工介入。首席科学家Jakub Pachocki曾撰文指出,AI进步将越来越受限于监控的可信度。
推出控制中心,但决策权限不明
伴随评级发布,OpenAI推出了“控制中心(Control Room)”,用于跟踪研究基础设施中的模型工作负载,并在检测到安全问题时停止运行。该系统与非同步不对齐监控配合,可自动暂停受影响的工作负载。然而,系统卡未明确指明谁拥有停止工作负载的最终决策权。唯一披露的案例是9月一起代理违规访问实时互联网事件,OpenAI随后暂停了前沿强化学习并加强隔离。
安全隐患与成本调整
在安全性方面,Astra在Blocker Deception试验中遗漏已知编码障碍的比例为22.28%,是GPT-6 Astra(11.09%)的两倍。两款模型在网络安全评分上均为“危急”,在生物和化学能力评分上为“高”。英国AI安全研究所此前在预发布版本中发现通用越狱手段,目前尚未对最新缓解措施进行独立复测。
成本方面,Astra API价格下调20%,每百万输入代币8美元,输出代币40美元。Sol价格保持2美元和10美元不变。早期外部排名显示,Astra在Artificial Analysis的智能指数中排名第二,仅次于Anthropic的Claude Fable 5.2,但其最大努力幻觉率达59%。
常见问题解答
“高”级评级是否意味着Astra可无人协助自我改进?
不是。该评级仅为完全自动化前的早期里程碑。数据显示,长时间任务仍需人工介入。
外界能否验证OpenAI的评级一致性?
目前不能。因第一阶段截止线和权重未公开,评估者无法重现判定过程。
GPT-6.2 Astra相比GPT-6 Astra有何变化?
Astra在内部调试、KernelGen、NanoGPT和MLE-Bench上分数上升,但在PostTrainBench Lite上略有下降,并最终获得“高”级评级,而前代未获此评级。
Sol是否是更具性价比的选择?
在部分编码基准上,Sol以约五分之一的成本接近Astra的性能,但Sol不携带“高”级自我改进评级,适合对自动化研究能力要求较低的场景。