核心定位：专为批量分类与决策推理打造
spinf-serve 是一款开源推理引擎，旨在解决传统聊天型模型在处理大规模结构化任务时的效率瓶颈。其核心机制是在单次内容读取中，通过一次前向传播并行回答多个相关问题。与传统引擎逐 Token 生成长文本不同，spinf-serve 输出基于用户提供选项的概率分布，从而大幅降低计算成本并提升吞吐量。
该引擎运行于单张 24GB 显存的 NVIDIA GPU 上，提供与托管服务兼容的 OpenAI API 接口，并采用 Apache 2.0 许可证开源。它并非传统聊天服务器，而是专注于高吞吐量的“决策模型”，适用于需要返回固定答案集（如是/否、标签、等级）的场景。
技术原理与性能优势
spinf-serve 将每个问题视为单次内容读取的分支，实现了“一次读取，多次提问”。这种架构避免了传统方法中为每个问题重新读取上下文和生成文本的低效操作。任何开源指令模型均可通过该引擎以决策模式运行，专用决策模型亦可原生支持。
在性能基准测试中，单张 RTX 4090 GPU 搭载 Gemma 4 12B (fp8) 模型的表现显著优于启用前缀缓存的 vLLM 0.26：
- 问答吞吐量：spinf-serve 达到每秒 491 个问题，而 vLLM 为每秒 200 个。
- Token 处理速度：spinf-serve 每秒处理 11,200 个 Token，vLLM 为 4,600 个。
- 整体耗时：处理包含 24 篇文章、每篇 56 个问题（共 1,344 个问题）的数据集，spinf-serve 仅需 2.7 秒，vLLM 则需 6.7 秒。
随着单篇文章对应问题数量的增加，spinf-serve 的性能优势将进一步扩大。在实际应用中，该配置每小时可对约 20,000 条消息进行包含 106 个问题的内容审核评分。
关键特性
- 同步信息提取：支持从同一次读取中提取文本、数字和金额，并附带概率解码，或将自由文本生成至指定槽位。
- 批次不变性：在使用 fp8 检查点时，无论单独处理还是打包处理，内容的评分结果保持比特级一致，确保跨调用、跨天数的稳定性。
- 多模态支持：根据模型能力，支持处理包含图片、音频和视频帧的内容。
- 提示包（Prompt Packs）：预置经过校准的问题集，涵盖内容审核、分诊、品牌监测等场景。用户可通过指定包 ID 直接调用，服务端将返回类别分数和决策结果。
- 灵活部署：支持自托管与云端托管无缝切换，客户端仅需更改基础 URL 和密钥即可适配。
系统要求与安装
运行 spinf-serve 需要 Linux 环境、Python 3.12 以及支持 CUDA 13 的驱动程序。GPU 方面，推荐使用支持 fp8 tensor cores 的 Ada、Hopper 或 Blackwell 架构显卡（如 RTX 4090/5090、L4、L40S、H100 等），Ampere 架构显卡可通过配置使用 int8 权重运行。
用户可通过 pip 直接安装服务端组件，或使用 Docker 镜像快速部署。启动后，引擎将在 8000 端口提供服务，并自动下载所需的模型检查点。
支持模型与生态
目前官方提供多个经过量化和校准的检查点，包括：
spinf/gemma-4-12b-fp8：默认模型，支持文本、图片、音频和视频，需单张 24GB GPU。spinf/gemma-4-31b-fp8：支持文本、图片和视频，需单张 48GB GPU。spinf/qwen3.8-27b-int4：基于 Qwen3.8-27B，支持文本、图片和视频，需单张 24GB GPU。spinf/pplx-decider-v1-27b-int4：Perplexity 专用决策模型，仅支持文本评分。
所有模型均在 Hugging Face Hub 发布，并附带训练配方。引擎锁定了一致性测试所用的修订版本，同时也支持直接加载其他兼容架构的 Hub 检查点并进行即时量化。
项目状态
当前版本为 0.1，核心功能包括评分、提取、生成、媒体处理及批次不变性均已完善，并通过全面一致性测试。服务端已对接公开 API，四个主要检查点已对外开放。开发者可通过 GitHub Issues 提交反馈、建议或 Bug 报告，项目暂无论坛或聊天群组。