Thinking Machines Lab 正式推出 Inkling 2 Mini,这是一款权重开放的紧凑型模型,旨在实现笔记本电脑本地运行。据实验室介绍,该模型在 DeepSWE 等编程基准测试中,表现优于所有参数量低于 1000 亿的开源权重模型。

“循环”机制深化推理

Inkling 2 Mini 的核心创新在于“循环”架构。模型对中间层进行三次迭代处理,每生成一个 token 即执行三次循环,从而在不增加输出长度的前提下深化推理能力。实验室指出,这种机制允许模型在不将推理过程显式写出的情况下进行更长时间的思考,这对监控构成了挑战,但也带来了效率提升。

该模型采用混合专家(MoE)架构,总参数量为 264 亿,每个 token 激活 34 亿参数。计入循环后,每个 token 的实际权重激活量为 54 亿。其 24 层结构分为四个块,首尾块运行一次,中间两个块运行三次。模型整体占用约 20GB 内存,大部分权重采用英伟达 4-bit NVFP4 格式训练和运行,确保转换无损。训练期间,实验室削减了三分之二的专家,并在 1 万亿 token 数据上基于更大的内部 Inkling 模型进行了重新训练。

测试显示,无循环版本虽训练成本降低 7.5%,但运行时需多消耗 140% 的计算资源才能达到同等效果。

性能与成本优势显著

基准测试数据显示,Inkling 2 Mini 在 DeepSWE v1.1 上得分为 48.2%,在高难度 SWE-bench Pro 任务上得分为 77.9%。相比之下,阿里巴巴 Qwen3.8-27B 的得分分别为 42.2% 和 73.8%。独立机构 Artificial Analysis 将其智能指数排名定为第 20 位,与 Qwen3.8 27B 持平,但活跃参数量仅为后者的五分之一。

成本方面,Inkling 2 Mini 每项任务成本为 0.59 美元,耗时 9 分钟;而 Qwen3.8 27B 成本为 3.53 美元,耗时 38.2 分钟。前者成本低约六倍,速度快四倍,尽管其 token 输出量多出约 38%。作为参考,OpenAI GPT-6 Luna 得分仅为 28,但单项任务成本低至 0.15 美元。

演示环节中,研究人员在飞行模式下的 MacBook Pro 上离线运行该模型,几分钟内构建出可玩的飞行模拟器,并成功在一台离线 Mac 上运行包含 20 个村民角色的像素小镇。目前,模型权重已上传至 Hugging Face,支持通过 Ollama 在配备至少 32GB 内存的 Mac 上运行,上下文窗口为 100 万 token,遵循 Apache 2.0 许可证。

可监控性与局限性

尽管循环机制引发了对“黑盒”推理的担忧,实验室发布的初步研究指出,在当前规模下,推理的可监控性并未显著降低。测试显示,循环五次的模型推理长度(1,661 token)不到循环一次(3,703 token)的一半,但可读性保持不变,且未观察到更难隐藏破坏性行为的情况。

不过,实验室也坦承模型的弱点:在多轮聊天及复杂约束指令遵循方面,Inkling 2 Mini 不及 Qwen3.8-27B;在复杂推理测试中,它仍落后于更大规模模型,且循环策略无助于存储更多事实信息。此外,仅监控工具调用和输出可能遗漏大量攻击行为,更深层次的强化学习训练可能会进一步压缩推理过程。

此次发布继今年七月首个 Inkling 模型之后,旨在解决前代模型表现不佳的问题。其本地运行竞争对手包括 Recursive 公司的 Flint 等。