并发请求总数指在任意时刻同时处于处理管道中的请求量。与GPU批处理不同，这些请求无需相互等待，而是以非阻塞方式持续流经处理管道。
无论是并发量还是批次大小，均无法精确反映推理系统的真实效率。在保持输出生成速度一致的前提下，单位功耗下的总令牌吞吐量（如每兆瓦每秒生成的令牌数）才是评估系统吞吐能力的更有效指标。
如何扩展至超3万亿参数模型
该架构同样适用于更大规模模型：通过将模型权重和请求状态分布至多个晶圆，并构建流水线连接，实现模型的分布式部署。每增加一个晶圆，即可提供额外的算力与片上内存，从而突破单一芯片的容量限制，容纳超出单芯片承载能力的超大模型。