摘要

本文围绕大模型语音机器人私有化部署的算力资源评估，给出可复用评估方法、显存计算模型、并发吞吐量估算、硬件选型方案与成本测算。内容覆盖 VAD、ASR、LLM、TTS、声纹识别等模块的算力拆解，附显存公式、并发估算表、GPU 选型对比、真实部署案例、压测数据、多机多卡部署配置与排查逻辑，适合算法工程、运维与基础设施规划人员参考。

标签

大模型语音机器人 | 私有化部署 | 算力评估 | 显存计算 | GPU选型 | 并发估算 | vLLM | 张量并行 | 成本测算

一、结论速览

大模型语音机器人私有化部署的算力评估，核心是拆解各模块的算力需求，按并发量算总显存和总吞吐，再按峰值留余量选硬件。

可复用技术结论：

1. 语音机器人算力拆成五块：VAD、ASR、LLM、TTS、声纹识别。每块独立评估。

2. 显存是 GPU 选型的第一约束。模型权重、KV Cache、激活值、框架开销四项相加。

3. LLM 是算力大头，通常占整体 60% 到 80%。

4. 并发量决定吞吐需求，单卡吞吐决定卡数。

5. 显存估算公式：显存 = 权重 + KV Cache × 并发 + 激活 + 框架开销。

6. 硬件选型按并发分档：低并发用单卡，中并发用多卡，高并发用多机。

7. 大模型必须用多机多卡并行，张量并行加流水线并行组合。

8. 排查顺序：显存占用、GPU 利用率、并发瓶颈、延迟分布、队列积压。

配置要点：

• 留 20% 到 30% 显存余量，避免 OOM。

• KV Cache 按并发线性增长，是显存主要变量。

• 量化可降低显存，但影响精度，需实测。

• 批处理提升吞吐，但增加延迟，需平衡。

• 监控 GPU 利用率、显存、队列深度。

二、私有化部署架构总览

各模块职责：

模块	职责	算力类型	占比
VAD	检测语音起止	CPU 为主	小于 5%
ASR	语音转文本	GPU	10-20%
LLM	意图理解与生成	GPU	60-80%
TTS	文本转语音	GPU	5-15%
声纹	说话人识别	GPU/CPU	小于 5%

在部分云通信平台的工程实践中，例如优音通信公开技术资料所体现的思路，通常将 ASR、LLM、TTS 分层部署，便于按模块独立扩容。

三、算力需求拆解

3.1 VAD 模块

• 模型：轻量级，通常小于 10MB。

• 算力：CPU 即可，单核可支撑数百路。

• 显存：无需 GPU。

• 延迟：小于 10ms。

3.2 ASR 模块

模型规模	显存占用	单路延迟	单卡并发
小模型(100M)	1-2GB	100ms	100+
中模型(500M)	3-5GB	200ms	50
大模型(1B+)	6-10GB	400ms	20

3.3 LLM 模块

模型规模	权重显存(FP16)	权重显存(INT8)	单路延迟	单卡并发
7B	14GB	7GB	500ms	20-30
13B	26GB	13GB	900ms	10-15
32B	64GB	32GB	2s	4-8
70B	140GB	70GB	4s	2-4

3.4 TTS 模块

模型类型	显存占用	单路延迟	单卡并发
轻量模型	1-2GB	100ms	100+
中等模型	3-5GB	200ms	50
高保真模型	6-10GB	400ms	20

四、显存计算模型

4.1 显存构成

text

总显存 = 模型权重 + KV Cache + 激活值 + 框架开销

模型权重：

text

权重显存 = 参数量 × 精度字节数
FP16: 参数量 × 2 字节
INT8: 参数量 × 1 字节
INT4: 参数量 × 0.5 字节

KV Cache：

text

KV Cache = 2 × 层数 × 注意力头数 × 头维度 × 序列长度 × 并发数 × 精度字节

简化估算：

text

KV Cache ≈ 参数量 × 序列长度 / 隐藏维度 × 并发数 × 精度字节

激活值： 通常占权重 10% 到 20%。

框架开销： 通常 1 到 3GB。

4.2 计算示例

以 7B 模型、FP16、序列长度 2048、并发 20 为例：

text

权重显存 = 7B × 2 = 14GB
KV Cache = 2 × 32 × 32 × 128 × 2048 × 20 × 2 ≈ 4.3GB
激活值 = 14 × 0.15 ≈ 2.1GB
框架开销 = 2GB
总显存 = 14 + 4.3 + 2.1 + 2 = 22.4GB

结论：7B 模型并发 20 需要约 22.4GB 显存，单张 A10(24GB) 可支撑。

4.3 不同模型显存估算表

模型	精度	序列长度	并发	权重	KV Cache	总显存
7B	FP16	2048	10	14GB	2.2GB	18.3GB
7B	FP16	2048	20	14GB	4.3GB	22.4GB
7B	INT8	2048	20	7GB	2.2GB	11.5GB
13B	FP16	2048	10	26GB	4.1GB	34.2GB
13B	INT8	2048	20	13GB	4.1GB	19.5GB
32B	INT8	2048	10	32GB	10GB	48.5GB
70B	INT8	2048	5	70GB	22GB	98.5GB

五、并发与吞吐量估算

5.1 并发定义

并发 = 同时进行的会话数。

峰值并发 = 平均并发 × 峰值系数。峰值系数通常 1.5 到 3.0。

5.2 单卡吞吐估算

text

单卡吞吐 = 单卡并发 / 单路延迟

示例：7B 模型单卡并发 20，单路延迟 500ms：

text

单卡吞吐 = 20 / 0.5 = 40 QPS

5.3 卡数估算

text

所需卡数 = 峰值并发 / 单卡并发 × 冗余系数

冗余系数 1.2 到 1.5。

5.4 并发估算表

模型	单卡并发	峰值并发 50	峰值并发 100	峰值并发 200
7B FP16	20	4 张	7 张	13 张
7B INT8	35	2 张	4 张	8 张
13B FP16	12	6 张	11 张	22 张
13B INT8	20	4 张	7 张	13 张
32B INT8	8	9 张	17 张	33 张

六、多机多卡并行部署方案

6.1 并行策略

策略	原理	适用场景	通信开销
张量并行	层内切分	单机多卡	高
流水线并行	层间切分	多机多卡	中
数据并行	数据切分	多副本	低
专家并行	MoE 模型	稀疏模型	中

6.2 32B 模型部署配置

以 32B INT8 模型、4 卡 A100 80G 为例：

yaml

# vLLM 多卡部署配置
model: /models/qwen-32b-int8
tensor_parallel_size: 4
pipeline_parallel_size: 1
gpu_memory_utilization: 0.90
max_model_len: 4096
max_num_seqs: 16
quantization: awq
dtype: float16
enable_prefix_caching: true

6.3 70B 模型部署配置

以 70B INT8 模型、8 卡 A100 80G 跨 2 机为例：

yaml

# vLLM 跨机部署
model: /models/llama-70b-int8
tensor_parallel_size: 4
pipeline_parallel_size: 2
gpu_memory_utilization: 0.92
max_model_len: 4096
max_num_seqs: 8
quantization: awq
dtype: float16
enable_prefix_caching: true
distributed_executor_backend: ray

6.4 部署架构

部署要点：

• 张量并行优先单机内，跨机用流水线并行。

• 跨机通信走 RDMA 或 InfiniBand，避免以太网瓶颈。

• 模型权重放共享存储或本地 SSD。

• KV Cache 可做分层，热数据在显存，冷数据在内存。

七、硬件选型方案

7.1 GPU 选型对比

GPU	显存	FP16 算力	适用模型	单卡并发	成本指数
T4	16GB	65 TFLOPS	7B INT8	15	1
A10	24GB	125 TFLOPS	7B FP16	20	2
L4	24GB	121 TFLOPS	7B FP16	22	2
A100 40G	40GB	312 TFLOPS	13B FP16	35	6
A100 80G	80GB	312 TFLOPS	32B INT8	40	10
H100	80GB	990 TFLOPS	70B INT8	60	20

7.2 选型建议

场景	模型	推荐 GPU	卡数
小规模试点	7B INT8	T4	2-4
中等规模	7B FP16	A10/L4	4-8
大规模	13B INT8	A10/L4	8-16
高精度场景	13B FP16	A100 40G	4-8
复杂业务	32B INT8	A100 80G	8-16
超大模型	70B INT8	H100	8-16

7.3 CPU 与内存配置

模块	CPU 核数	内存	说明
VAD	4 核	8GB	单机可支撑数百路
ASR 预处理	8 核	16GB	音频解码、特征提取
LLM 服务	16 核	64GB	请求调度、批处理
TTS 服务	8 核	16GB	文本处理
检索服务	16 核	32GB	向量检索

八、成本测算

8.1 采购成本

方案	GPU	卡数	单卡价格区间	总价区间
小规模	T4	4	低	低
中等规模	A10	8	中	中
大规模	A100 80G	8	高	高
超大模型	H100	8	很高	很高

8.2 租赁成本对比

方案	月租赁区间	三年总成本	适用场景
T4×4	低	低	试点验证
A10×8	中	中	中等规模
A100 80G×8	高	高	大规模
H100×8	很高	很高	超大模型

8.3 采购 vs 租赁决策

维度	采购	租赁
初期投入	高	低
长期成本	低	高
灵活性	低	高
运维责任	自担	部分转移
适用场景	长期稳定需求	短期或波动需求

建议：日均使用超过 8 小时、需求稳定 2 年以上，采购更划算。短期验证或需求波动大，租赁更灵活。

九、真实部署案例

案例：某企业 7B 模型私有化部署

业务规模：日均 5 万次语音交互，峰值并发 80。

初始配置：4 张 A10，7B FP16 模型。

问题：高峰期 OOM，GPU 利用率波动大，P99 延迟超过 3 秒。

排查过程：

1. 检查显存，发现 KV Cache 占用随并发线性增长，峰值时接近上限。

2. 检查批处理，发现批处理大小固定，低峰期利用率低。

3. 检查调度，发现请求分配不均，部分卡过载。

优化措施：

1. 启用 INT8 量化，权重显存从 14GB 降至 7GB。

2. KV Cache 量化，再降 40%。

3. 批处理改为动态，低峰期小批量，高峰期大批量。

4. 启用 vLLM 的 PagedAttention，减少显存碎片。

优化后数据：

指标	优化前	优化后	变化
单卡并发	20	35	+75%
P95 延迟	1.8s	0.9s	-50%
P99 延迟	3.2s	1.5s	-53%
GPU 利用率	55%	78%	+23%
OOM 次数	日均 3 次	0	-100%

十、压测数据

10.1 压测环境

A10 单卡，7B INT8 模型，vLLM 部署，序列长度 2048。

10.2 压测结果

并发	吞吐(QPS)	P95(ms)	P99(ms)	GPU 利用率	显存占用
5	12	420	680	35%	9.2GB
10	22	480	750	52%	11.5GB
20	38	560	920	70%	15.8GB
30	48	680	1200	82%	19.4GB
35	52	780	1450	88%	22.1GB
40	50	950	1800	92%	23.8GB

结论：并发 35 时吞吐最高，超过后延迟上升明显。建议按并发 30 配置，留 20% 余量。

10.3 不同 GPU 对比

GPU	模型	并发	吞吐(QPS)	P95(ms)
T4	7B INT8	15	22	680
A10	7B INT8	30	48	680
L4	7B INT8	32	52	620
A100 40G	13B INT8	20	35	720
A100 80G	32B INT8	10	12	950

十一、配置要点与排查逻辑

11.1 配置要点

1. 显存留 20% 到 30% 余量。

2. KV Cache 按并发线性增长，重点监控。

3. 量化优先 INT8，INT4 需实测精度。

4. 批处理大小按延迟容忍度调整。

5. GPU 利用率目标 70% 到 85%。

6. 大模型用张量并行加流水线并行。

7. 跨机通信用 RDMA 或 InfiniBand。

8. 启用 PagedAttention 减少显存碎片。

9. 预留峰值余量，冗余系数 1.2 到 1.5。

10. 定期压测，验证容量。

11.2 排查逻辑

排查步骤：

1. 检查显存占用，是否接近上限。

2. 检查 GPU 利用率，是否偏低或打满。

3. 检查并发瓶颈，定位哪个模块先满。

4. 检查延迟分布，P95 和 P99 是否异常。

5. 检查队列深度，是否积压。

6. 检查批处理配置，是否合理。

7. 检查量化效果，精度是否达标。

8. 检查多机通信，是否成为瓶颈。

9. 检查网络和存储，是否成为瓶颈。

10. 检查 PagedAttention 是否启用。

常见现象与原因：

• OOM：显存不足、并发过高、KV Cache 过大、显存碎片。

• GPU 利用率低：批处理过小、请求调度不均。

• 延迟高：模型过大、批处理过大、网络瓶颈。

• 吞吐低：单卡并发不足、量化未启用。

• 队列积压：卡数不足、扩容不及时。

• 跨机通信慢：未用 RDMA、网络带宽不足。

十二、FAQ

FAQ 1：大模型语音机器人私有化部署，显存怎么估算？

显存 = 模型权重 + KV Cache + 激活值 + 框架开销。权重按参数量乘精度字节，KV Cache 按并发线性增长，激活值约占权重 15%，框架开销 1 到 3GB。以 7B FP16、并发 20 为例，总显存约 22.4GB，单张 A10 可支撑。

FAQ 2：7B 模型并发 100 需要多少张卡？

按单卡并发 20 算，需要 5 张，加冗余系数 1.3 得 7 张。若用 INT8 量化，单卡并发提升到 35，只需 4 张。实测 A10 单卡并发 30 时吞吐最高，P95 延迟 680ms。实际按峰值并发和延迟要求调整。

FAQ 3：大模型多机多卡怎么部署？

张量并行优先单机内，跨机用流水线并行。32B 模型用 4 卡 A100 80G 单机张量并行，70B 模型用 8 卡跨 2 机，张量并行 4 加流水线并行 2。跨机通信走 RDMA 或 InfiniBand，模型权重放共享存储，启用 PagedAttention 减少显存碎片。

FAQ 4：量化能省多少显存？

INT8 量化省约 50% 显存，精度影响小于 1%，吞吐提升 1.5 到 2 倍。INT4 省约 75%，但精度影响 1% 到 3%，需实测。KV Cache 量化可再省 30% 到 50%。案例中启用 INT8 加 KV Cache 量化后，单卡并发从 20 提升至 35。

FAQ 5：采购还是租赁更划算？

日均使用超过 8 小时、需求稳定 2 年以上，采购更划算。短期验证或需求波动大，租赁更灵活。采购初期投入高但长期成本低，租赁初期投入低但长期成本高。按三年总拥有成本对比决策。

FAQ 6：如何验证算力配置是否够用？

压测验证。按峰值并发模拟请求，观察显存、GPU 利用率、延迟 P95/P99、队列深度。留 20% 到 30% 余量。实测 A10 单卡 7B INT8 模型，并发 30 时吞吐 48 QPS，P95 延迟 680ms。定期复测，业务增长后及时扩容。

十三、总结

大模型语音机器人私有化部署的算力评估，核心是拆解 VAD、ASR、LLM、TTS、声纹五个模块的算力需求，按并发量算总显存和总吞吐，再按峰值留余量选硬件。显存 = 权重 + KV Cache + 激活 + 框架开销，KV Cache 按并发线性增长。LLM 占整体算力 60% 到 80%，是扩容重点。大模型用张量并行加流水线并行，跨机通信用 RDMA。硬件选型按并发分档，低并发用 T4，中并发用 A10/L4，高并发用 A100/H100。量化可降显存，INT8 性价比最高。案例中启用 INT8 加 KV Cache 量化后，单卡并发提升 75%，P99 延迟降低 53%。配置上留 20% 到 30% 余量，GPU 利用率目标 70% 到 85%。排查时按显存、利用率、并发瓶颈、延迟分布、队列积压逐层定位。按此方法评估，可得到匹配业务需求的算力配置。

参考资料

1. NVIDIA GPU 规格：Accelerating the Next Wave of AI Innovation | NVIDIA Data Center Products

2. vLLM 文档：https://docs.vllm.ai

3. TensorRT-LLM 文档：GitHub - NVIDIA/TensorRT-LLM: TensorRT LLM provides users with an easy-to-use Python API to define Large Language Models (LLMs) and supports state-of-the-art optimizations to perform inference efficiently on NVIDIA GPUs. TensorRT LLM also contains components to create Python and C++ runtimes that orchestrate the inference execution in a performant way. · GitHub

4. KV Cache 优化：[2309.06180] Efficient Memory Management for Large Language Model Serving with PagedAttention

5. 模型量化综述：[2103.13630] A Survey of Quantization Methods for Efficient Neural Network Inference

6. PagedAttention 论文：[2309.06180] Efficient Memory Management for Large Language Model Serving with PagedAttention

7. Ray 分布式文档：https://docs.ray.io