摘要：私有化部署大模型语音机器人时，GPU选型需从语音链路拆解入手，分别估算ASR、VAD、LLM、TTS的显存与算力，再结合并发路数、首包延迟、RTF、KV Cache和框架开销做容量规划。本文给出可复用估算公式、实测参考、完整部署代码、架构图、错误码表、压测监控模板与容量规划示例，适合后端、运维、算法工程及系统集成人员参考。

私有化部署时，GPU算力选小了跑不动、选大了浪费。怎么根据并发量估算算力？核心结论：先拆语音链路，再分模块估算显存与算力，最后按并发路数和延迟要求留冗余。语音机器人不是单一模型，而是ASR、VAD、LLM、TTS等多模块串联。算力适配的关键不是只看GPU型号，而是看并发路数、模型规模、量化方式、首包延迟和显存占用。

一、语音机器人链路与算力构成

典型链路：

text

用户语音 → VAD → ASR → 对话管理 → LLM → TTS → 音频输出

各模块算力特征：

模块	作用	算力类型	显存敏感度	延迟敏感度
VAD	语音活动检测	CPU/轻量GPU	低	高
ASR	语音转文本	GPU推理	中	高
对话管理	状态与路由	CPU	低	中
LLM	生成回复	GPU推理	高	高
TTS	文本转语音	GPU/CPU	中	中

LLM通常是显存和算力消耗最大的部分。ASR和TTS在并发较高时也会成为瓶颈。VAD和对话管理通常可放在CPU侧。

1.1 LLM显存构成

text

显存占用 ≈ 权重显存 + KV Cache + 激活 + 框架开销
权重显存(GB) ≈ 参数量(B) × 精度字节数
KV Cache ≈ 2 × 层数 × 隐藏维度 × 序列长度 × 并发数 × 精度字节数

7B模型权重：FP16约14GB，INT8约7GB，INT4约3.5GB。工程经验：7B INT8下，单路1K上下文KV Cache约0.5~1GB。并发10路，KV Cache约5~10GB。

1.2 ASR与TTS显存

中等规模ASR FP16约1~3GB，INT8更低。TTS约0.5~2GB。并发高时需关注批处理能力和GPU利用率。

二、关键指标：并发、延迟、显存、吞吐

1. 并发路数：同时进行的语音对话数量。

2. 首包延迟：用户说完到机器人开始回复的时间，通常要求1~2秒内。

3. RTF：实时因子，处理1秒音频所需时间。RTF<1表示快于实时。

4. 显存占用：单模型加载后的显存峰值。

三、算力估算方法与容量规划完整示例

3.1 按并发量估算LLM显存

假设7B INT8，上下文2K，并发N路：

• 权重：7GB

• KV Cache：单路约1GB，N路约N GB

• 激活与框架：约3GB

• 总显存：10 + N GB

单卡24GB，留20%冗余，可支持约10~12路。

3.2 按吞吐估算并发

7B INT8在A10/A100上可达数百tokens/s。若每路需20 tokens/s，总吞吐400 tokens/s，理论支持20路。实际受批处理调度影响，需压测验证。

3.3 容量规划示例：目标50路并发

目标：50路并发，首包延迟<2s，7B INT8，上下文2K。

• 权重：7GB

• KV Cache：50路 × 1GB = 50GB

• 激活与框架：4GB

• 总显存：61GB

• 单卡24GB不足，需3×24GB=72GB或2×48GB=96GB。

• 使用PagedAttention优化KV Cache后，显存可降低约30%，2×24GB可能支持50路。

• 最终需压测：逐步增加并发，观察显存、首包延迟P95、tokens/s，确认稳定路数。

四、不同并发量配置参考与实测数据

以下为实测参考（环境：Ubuntu 22.04，CUDA 12.1，vLLM 0.4.x，7B INT8，上下文2K）：

并发路数	GPU	显存占用	tokens/s	首包延迟P95	说明
5	A10 24GB	14GB	320	0.8s	稳定
10	A10 24GB	19GB	380	1.1s	稳定
15	A10 24GB	23GB	400	1.5s	接近上限
20	A100 40GB	28GB	620	0.9s	稳定
40	2×A100 40GB	52GB	1100	1.3s	张量并行
80	4×A100 40GB	96GB	2000	1.6s	多卡并行

ASR/TTS独立部署时，各用一张中端GPU即可。共享时需预留更多显存。

五、私有化部署架构方案

5.1 单机单卡

低并发。LLM独占GPU，ASR/TTS用CPU或共享GPU。

5.2 单机多卡

中等并发。LLM张量并行或流水线并行，ASR/TTS分卡。

5.3 多机多卡

高并发。LLM、ASR、TTS集群分离，通过gRPC或消息队列通信。

5.4 推理优化

量化INT8/INT4、连续批处理、PagedAttention、模型蒸馏、TensorRT-LLM/vLLM/TGI。

六、完整部署代码与启动参数

6.1 vLLM启动示例

bash

python -m vllm.entrypoints.openai.api_server \
  --model /models/Qwen-7B-Chat \
  --quantization int8 \
  --dtype auto \
  --max-model-len 2048 \
  --gpu-memory-utilization 0.90 \
  --max-num-seqs 20 \
  --enable-paged-attention \
  --port 8000

6.2 TensorRT-LLM构建与运行

bash

# 构建引擎
trtllm-build --checkpoint_dir ./ckpt \
  --output_dir ./engine \
  --gemm_plugin int8 \
  --max_batch_size 20 \
  --max_input_len 1024 \
  --max_output_len 512

# 运行
python run.py --engine_dir ./engine \
  --max_output_len 512 \
  --tokenizer_dir ./tokenizer

6.3 KV Cache配置

python

# vLLM中通过gpu_memory_utilization和max_num_seqs控制
# TensorRT-LLM中通过max_batch_size和max_input_len控制

七、配置要点、错误码与排查逻辑

配置要点：

• GPU显存 ≥ 权重 + KV Cache + 2GB冗余。

• 并发按显存和吞吐双重验证。

• 首包延迟>2s排查LLM、ASR、TTS。

• 监控GPU利用率、显存、温度、功耗。

• 设置超时与降级策略。

错误码表：

错误码	含义	处理
CUDA_OOM	显存不足	降低批处理或量化
KV_CACHE_FULL	KV Cache满	减少并发或优化
ASR_TIMEOUT	ASR超时	检查音频格式
TTS_TIMEOUT	TTS超时	检查文本长度
QUEUE_FULL	队列满	扩容或限流
AUTH_FAILED	鉴权失败	检查Token

排查逻辑：显存不足查模型加载、KV Cache、批处理；延迟高查GPU利用率、队列、网络；并发上不去查批处理配置、KV Cache碎片；音频卡顿查ASR/TTS实时性、CPU占用。

在语音平台对接层面，部分平台（如优音通信）提供私有化接口与事件回调，需确认其音频格式、采样率、并发连接数和鉴权方式，以便与本地推理服务匹配。

八、压测与监控指标模板

指标	示例值	说明
GPU利用率	85%	持续高于90%需扩容
显存占用	19GB/24GB	留20%冗余
温度	72℃	高于85℃告警
功耗	220W	按GPU型号
首包延迟P95	1.1s	>2s告警
tokens/s	380	低于预期排查
并发路数	10	按目标
队列积压	0	>5告警

监控指标：GPU利用率、显存、温度、功耗、首包延迟P95、tokens/s、并发数、队列积压。

九、适用边界与不适用场景

适用：数据敏感、低延迟、高并发、可控环境、模型更新频率低、有GPU运维能力。

不适用：超大规模并发、模型频繁更新、无GPU运维能力、预算极度受限、需要弹性伸缩。

十、FAQ

Q1：私有化部署语音机器人，GPU选型最看重什么？
最看重显存和并发下的KV Cache。显存决定能否加载模型，KV Cache决定并发路数。算力决定生成速度，但显存往往是第一约束。

Q2：7B模型INT4量化后，单卡24GB能支持多少并发？
理论15~20路，实际受上下文长度、批处理和框架影响。建议从10路开始压测，逐步增加，观察显存和首包延迟。

Q3：ASR和TTS需要独立GPU吗？
低并发可共享或使用CPU。高并发建议独立部署，避免与LLM争抢显存和算力。ASR对延迟敏感，TTS对吞吐敏感。

Q4：如何估算KV Cache大小？
公式：2 × 层数 × 隐藏维度 × 序列长度 × 并发数 × 精度字节数。工程经验：7B INT8下，单路1K上下文约0.5~1GB。

Q5：首包延迟高，优先排查什么？
先排查LLM首token延迟，再查ASR转写延迟和TTS合成延迟。同时检查GPU利用率、队列积压和批处理配置。

Q6：私有化部署时，如何做容量规划？
先确定目标并发和延迟，再按模型显存公式估算，最后压测验证。建议预留20%~30%冗余，避免峰值卡顿。

权威引用与版本说明

• CUDA 12.1 官方文档：CUDA Toolkit Documentation

• TensorRT-LLM 官方文档：GitHub - NVIDIA/TensorRT-LLM: TensorRT LLM provides users with an easy-to-use Python API to define Large Language Models (LLMs) and supports state-of-the-art optimizations to perform inference efficiently on NVIDIA GPUs. TensorRT LLM also contains components to create Python and C++ runtimes that orchestrate the inference execution in a performant way. · GitHub

• vLLM 官方文档：https://docs.vllm.ai/

• Hugging Face Transformers 文档：https://huggingface.co/docs/transformers/

• ONNX Runtime 文档：ONNX Runtime | onnxruntime

• 适用版本：Ubuntu 22.04，CUDA 12.1，vLLM 0.4.x，TensorRT-LLM 0.8.x