1. 音视频编解码库

在现代多媒体应用开发中，音视频编解码是绕不开的核心环节。无论是直播推流、视频剪辑、播放器开发还是实时音视频通话，底层都离不开高效的编解码库。C++ 凭借其高性能和对底层硬件的直接操控能力，仍然是音视频领域的主流开发语言。本文将系统梳理 C++ 生态中主流的音视频编解码库，帮助读者在实际项目中快速做出技术选型。

2. FFmpeg / libav — 音视频处理的瑞士军刀

2.1 概述

FFmpeg 是目前最完整、最流行的开源音视频处理框架，几乎覆盖了所有常见的编解码格式和封装格式。其核心库包括：

• libavcodec：编解码核心库，包含数百种编解码器实现。
• libavformat：封装 / 解封装库，处理 MP4、FLV、TS、MKV 等容器格式。
• libavfilter：音视频滤镜框架，支持缩放、裁剪、水印等。
• libswscale：图像缩放和像素格式转换。
• libswresample：音频重采样和通道布局转换。
• libavutil：通用工具库，包含数学运算、内存管理、错误处理等。

2.2 C++ 集成示例

以下示例演示如何使用 FFmpeg 的 API 打开视频文件并获取流信息：

extern "C" {
#include <libavformat/avformat.h>
#include <libavcodec/avcodec.h>
}

#include <iostream>

int main() {
    const char* filename = "input.mp4";
    AVFormatContext* fmt_ctx = nullptr;

    // 打开输入文件
    if (avformat_open_input(&fmt_ctx, filename, nullptr, nullptr) < 0) {
        std::cerr << "无法打开文件: " << filename << std::endl;
        return -1;
    }

    // 获取流信息
    if (avformat_find_stream_info(fmt_ctx, nullptr) < 0) {
        std::cerr << "无法获取流信息" << std::endl;
        avformat_close_input(&fmt_ctx);
        return -1;
    }

    // 遍历流
    for (unsigned int i = 0; i < fmt_ctx->nb_streams; i++) {
        AVStream* stream = fmt_ctx->streams[i];
        AVCodecParameters* codecpar = stream->codecpar;

        if (codecpar->codec_type == AVMEDIA_TYPE_VIDEO) {
            std::cout << "视频流 " << i << ": "
                      << codecpar->width << "x" << codecpar->height
                      << ", 编码: " << avcodec_get_name(codecpar->codec_id)
                      << std::endl;
        } else if (codecpar->codec_type == AVMEDIA_TYPE_AUDIO) {
            std::cout << "音频流 " << i << ": "
                      << codecpar->sample_rate << "Hz, "
                      << codecpar->ch_layout.nb_channels << " 声道, "
                      << "编码: " << avcodec_get_name(codecpar->codec_id)
                      << std::endl;
        }
    }

    avformat_close_input(&fmt_ctx);
    return 0;
}

2.3 适用场景

FFmpeg 几乎适用于所有音视频项目，包括播放器开发、视频转码服务、直播推拉流、视频剪辑工具等。对于需要处理多种格式的场景，FFmpeg 是首选方案。

3. 视频编码库

3.1 x264 — H.264 / AVC 编码器

x264 是目前最优秀的开源 H.264 视频编码器，在编码速度和压缩效率之间取得了很好的平衡。它支持丰富的编码参数调节，包括码率控制模式（CBR、VBR、CRF）、预设档位（ultrafast 到 placebo）以及调优参数（film、animation、grain 等）。

// x264 编码关键参数示例
x264_param_t param;
x264_param_default_preset(&param, "medium", "film");

param.i_width  = 1920;
param.i_height = 1080;
param.i_fps_num = 30;
param.i_fps_den = 1;

// CRF 恒定质量模式
param.rc.i_rc_method = X264_RC_CRF;
param.rc.f_rf_constant = 23.0;

x264_t* encoder = x264_encoder_open(&param);

3.2 x265 — H.265 / HEVC 编码器

x265 是 H.265/HEVC 标准的开源实现，在同等画质下码率可比 H.264 节省约 50%。它采用了更先进的编码工具，如更大的编码单元（CTU，最高 64x64）、更灵活的预测模式和 SAO（样本自适应偏移）滤波器。代价是编码复杂度显著增加，编码时间通常是 x264 的 5-10 倍。

// x265 编码关键参数示例
x265_param* param = x265_param_alloc();
x265_param_default_preset(param, "medium", "default");

param->sourceWidth  = 3840;
param->sourceHeight = 2160;
param->fpsNum       = 60;
param->fpsDenom     = 1;

// 恒定质量编码
param->rc.rateControlMode = X265_RC_CRF;
param->rc.rfConstant       = 28.0;

x265_encoder* encoder = x265_encoder_open(param);

3.3 VP8 / VP9 — Google 开源编码器

libvpx 是 Google 维护的 VP8 和 VP9 视频编码器。VP9 在压缩效率上接近 H.265，且完全免费、无专利负担，广泛用于 WebRTC 和 YouTube 等平台。配合 AV1 的后继发展，libvpx 在 Web 视频场景中占据重要地位。使用时通过 FFmpeg 的 libvpx 封装调用即可，也可直接集成 libvpx 原生 API。

3.4 SVT-AV1 — 高性能 AV1 编码器

SVT-AV1 是 Intel 与 Netflix 联合开发的 AV1 编码器，支持多线程并行编码，在处理 4K/8K 高分辨率视频时表现出色。AV1 压缩效率优于 H.265 约 30%，是未来视频编码的重要方向。

4. 音频编码库

4.1 Opus — 通用音频编解码器

Opus 是 IETF 标准化的音频编解码器（RFC 6716），融合了 SILK（语音编码）和 CELT（音乐编码）两种技术，在 6kbps 到 510kbps 的码率范围内都能提供出色的音质。它支持恒定码率和可变码率，延迟可低至 5ms，非常适合 VoIP、在线会议和游戏语音等场景。

#include <opus/opus.h>

// 创建 Opus 编码器
OpusEncoder* encoder = opus_encoder_create(
    48000,          // 采样率 48kHz
    2,              // 立体声
    OPUS_APPLICATION_AUDIO,  // 音乐场景
    nullptr
);

// 设置比特率
opus_encoder_ctl(encoder, OPUS_SET_BITRATE(128000));

// 编码一帧
opus_int32 encoded_bytes = opus_encode(
    encoder,
    pcm_data,       // PCM 输入
    frame_size,     // 采样数
    compressed_data, // 输出缓冲区
    max_packet_size
);

opus_encoder_destroy(encoder);

4.2 AAC 编码库（libfdk-aac）

libfdk-aac 是 Fraunhofer 开发的 AAC 编码器，被公认为质量最高的 AAC 编码实现之一，广泛用于 MP4、HLS 等场景。它支持 AAC-LC、HE-AAC、HE-AACv2 等多种规格，编码质量优于 FFmpeg 内置的 AAC 编码器。该库通过 FFmpeg 的 libfdk-aac 封装调用较为方便。

4.3 MP3 LAME 编码器

LAME 是历史悠久的 MP3 编码器，虽然 MP3 专利已到期，但因其极广的兼容性，在播客、音乐分发等场景中仍有大量使用。LAME 的 VBR 编码质量在同码率下处于顶尖水平。

5. 封装与流媒体库

5.1 libmp4v2 / mp4v2

mp4v2 是一个轻量级的 MP4 容器格式读写库，适合需要直接操作 MP4 文件结构的场景，如写入 MOOV 头、编辑元数据、处理 fragment MP4 等。相比 FFmpeg，它更专注、API 更简洁。

5.2 SRTP / libsrtp

libsrtp 是 SRTP（Secure Real-time Transport Protocol）的开源实现，用于对 RTP/RTCP 数据包进行加密和认证。在 WebRTC 和安全流媒体传输中，通常与 Opus、VP8/VP9 搭配使用。

6. 硬件加速方案

6.1 NVIDIA Video Codec SDK

NVIDIA Video Codec SDK 提供基于 GPU 的硬件编解码能力，支持 NVENC（编码）和 NVDEC（解码）。NVENC 在 H.264/H.265 编码上比纯软件方案快数倍，且画质损失极小，适合直播和批量转码等高吞吐场景。FFmpeg 中可通过 h264_nvenc/hevc_nvenc 编解码器直接调用。

6.2 Intel Quick Sync Video（QSV）

Intel QSV 利用集成显卡中的硬件编解码单元，在 H.264/H.265/AV1 格式上提供低功耗、高性能的编解码能力。FFmpeg 中通过 h264_qsv/hevc_qsv 编解码器调用，在边缘设备和中低端服务器上性价比突出。

6.3 VideoToolbox（macOS/iOS）

Apple 平台的 VideoToolbox 框架提供系统级的硬件编解码支持，覆盖 H.264 和 H.265。在 macOS 和 iOS 上，这是推荐的首选方案，功耗控制和效率均优于纯软件实现。FFmpeg 中对应 videotoolbox 系列编解码器。

6.4 MediaCodec（Android）

Android 平台的 MediaCodec API 直接调用设备硬件编解码器，在移动端音视频应用中几乎是唯一合理的选择。通过 C++ NDK 接口可以高效集成，结合 OpenGL ES 渲染可构建性能优异的视频播放 / 录制管线。

7. 综合对比与选型建议

场景	推荐方案	说明
通用音视频处理 / 播放器	FFmpeg	功能最全，社区最活跃，几乎所有格式都支持。
H.264 高质量编码	x264	软件编码画质最优，参数调优灵活。
H.265 / 4K 编码	x265 或 NVENC HEVC	软件编码用 x265，高吞吐用 NVENC 硬编码。
WebRTC 视频	libvpx (VP8/VP9) 或 SVT-AV1	免专利费，浏览器内置支持。
VoIP / 实时音频	Opus	低延迟、高音质、自适应码率。
高吞吐直播转码	NVENC / QSV + FFmpeg	硬件加速大幅提升吞吐，降低延迟。
移动端音视频	MediaCodec / VideoToolbox	调用系统硬件编解码，功耗和性能最优。

C++ 音视频编解码生态成熟且丰富。以 FFmpeg 为核心枢纽，配合 x264/x265、Opus、libvpx 等专业编解码库，再加上 NVENC、QSV、MediaCodec 等硬件加速方案，能够覆盖从云端的批量转码到移动端的实时通信等几乎所有音视频场景。选型时建议优先考虑目标平台的硬件加速能力和编解码格式的专利情况，在性能与兼容性之间找到最佳平衡。