Google 的多模态嵌入模型 Embedding Gemma 2 已被成功改造为语音转文本工具。测试显示，在基础款 MacBook Air 上，该模型完全在设备端运行，转录一小时音频仅需约 13 秒。
嵌入模型如何“听写”语音
Embedding Gemma 2 原本旨在将文本、图像、音频和视频映射至同一共享空间，使得音频表示与对应文字在向量空间中邻近。基于这一特性，开发团队尝试直接从该空间中“读取”单词。
其工作原理包括四个步骤：保持 Embedding Gemma 2 音频编码器不变；引入一个小型“读取器”，将短音频切片映射至模型的文本空间；在约 22.9 万个英语单词中匹配最接近的词汇，由这些切片组成转录文本；最后通过一个微小的额外模型添加标点和大写。
值得注意的是，仅“读取器”部分接受了训练。使用开放许可的英语语音数据，在 8 张 H100 GPU 上训练耗时不到两小时。基础模型本身从未针对语音转文本任务进行过专门训练。
性能表现与局限
在基础款 M3 MacBook Air（8GB 内存）上，借助神经网络引擎（Neural Engine），该模型的实时处理倍率高达 288 倍，即处理一小时音频仅需 12.6 秒。相比之下，同硬件下运行的 IBM Granite Speech 5.0 TurboCTC 需 25.7 秒（约 150 倍实时率）。
不过，目前该模型的字错误率（WER）约为 5%，而行业领先语音模型的字错误率通常在 2% 至 3% 之间。团队表示，后续迭代将重点优化“读取器”的训练，以缩小这一差距。
在使用体验上，用户可通过拖入音频文件，或按住右 Option 键说话后释放，在任何应用中实现语音输入。由于运算完全在 Mac 的神经网络引擎上进行，音频数据始终保留在本地，不会上传至云端。