在安防监控、无纸化会议、工业巡检和机器人视频回传等业务中,视频编码的选择,直接影响画面质量、网络带宽、设备功耗与系统响应速度。

H.265/HEVC已经成为这些领域的重要技术选项。H.266/VVC进一步提高了压缩效率,也带来了新的问题:同等画质究竟能节省多少带宽?更高的压缩率是否意味着更低的延迟?现有RTSP、RTMP系统需要改动哪些环节?跨平台SDK应该怎样跟进,才能让新标准真正服务于项目交付?

从大牛直播SDK(SmartMediaKit)的视角看,编码技术的价值,需要放进采集、编码、传输、播放和录像构成的完整链路中衡量。一项新编码标准带来的收益,最终要通过设备能够持续运行、网络能够稳定承载、终端能够及时显示来兑现。

一、从HEVC到VVC:理解两代标准解决的问题

H.265对应HEVC,英文全称为High Efficiency Video Coding;H.266对应VVC,英文全称为Versatile Video Coding。两者分别代表高效视频编码与通用视频编码,VVC由ITU-T与ISO/IEC联合开展的标准化工作形成,首版于2020年完成。其应用目标除传统视频外,还包括超高清、全景视频、屏幕共享等多种内容。

理解这次演进,首先要区分三个概念:

概念解决什么问题项目中的体现
编码标准规定码流语法及相应的解码过程H.265/HEVC、H.266/VVC
编码器实现决定怎样在时间和算力约束下生成码流画质、编码速度、码率控制、资源占用
媒体系统负责码流接入、传输、解码显示和存储RTSP、RTMP、播放器、录像与业务协同

标准提供了可使用的编码工具,但没有规定所有编码器必须采用同一种搜索策略,也没有保证所有设备达到相同的性能。

因此,两款都支持H.265的编码器,实际画质和延迟可能明显不同;两套都支持H.266的系统,能够承担的分辨率、并发路数与持续工作时长,也可能不同。

比较HEVC和VVC,需要同时比较标准能力、具体实现和部署条件。 只看编码名称,很难推导出产品表现。

二、VVC为什么更省码率:更精细地描述画面与变化

HEVC和VVC都延续了基于块的混合编码思路:利用相邻区域或参考画面进行预测,再编码预测与原始内容之间的差异。VVC的进步,来自多个环节共同改进。

其中几项具有代表性的变化如下:

技术方向HEVC的基础VVC的主要变化
图像分块编码树单元最大为64×64,采用四叉树划分最大扩展到128×128,并增加二叉、三叉划分
运动预测以块的运动补偿为重要基础增强仿射运动等工具,更好描述旋转、缩放等变化
帧内预测与变换根据已重建邻域预测当前区域,编码剩余差异提供更丰富的预测与变换选择
环路滤波包括去块滤波、样点自适应偏移进一步引入自适应环路滤波等工具

这些差异可在IETF对VVC编码工具的概述中查到。

以会议同屏为例,一张共享桌面可能同时出现大面积白底、小字号文字、表格边框和嵌入视频。不同区域的纹理与变化规律差别很大,更灵活的划分与预测,有机会减少不必要的数据开销。

在无人机巡检中,镜头前进、转弯和俯仰会造成复杂的画面变化。更丰富的运动描述方式,有助于减少预测误差,但实际收益仍取决于素材特征和编码器是否在当前性能约束下使用相应工具。

这些改进也意味着编码器需要在更多候选方案中作选择。开发团队不能默认:只要切换到VVC,就能在原有设备、原有功耗和原有延迟下获得全部压缩收益。

此外,压缩后的文字发虚、纹理丢失和运动细节模糊,应结合码率、量化、预处理与具体实现分析。采用VVC本身,并不意味着系统能够恢复采集时没有记录下来的真实细节。

三、“节省约50%码率”应该怎样理解

Fraunhofer HHI对VVC的介绍指出,在广泛的视频内容和应用条件下,相较HEVC,VVC可在相同主观质量下实现约50%的码率降低。这是理解其技术潜力的重要依据。

但在项目中,这个数字需要带着条件使用。

首先,比较对象是特定的编码器、配置与素材。低照度噪声、快速运动、树叶水面、小字号桌面文字,对编码器提出的要求并不相同,收益不可能在所有画面上保持一致。

其次,编码速度与压缩效率存在取舍。Fraunhofer的VVenC提供多个质量与速度预设,说明即使采用同一套VVC编码器,也需要根据资源预算选择工作方式。

最后,实时业务有自己的约束。离线内容可以花更长时间分析画面;会议互动和远程操控需要及时输出,不能无限增加分析时间与缓冲。

有意义的比较,应当在相同业务约束下进行:达到相近的关键细节质量,满足相同的帧率、延迟和设备资源预算,再看谁需要更少的数据。

建议建立这样的测试口径:

比较维度应统一或记录的条件重点观察
视频输入同一素材、分辨率、帧率、位深与预处理排除输入差异
编码配置编码器版本、速度预设、码率控制与参考结构确认性能投入是否可比
画面质量客观指标与原始画面对照文字、边缘、纹理和运动细节
实时表现首帧、持续延迟、卡顿与恢复时间是否满足交互要求
设备资源CPU、内存、功耗与持续运行温度能否长期稳定工作
数据开销平均码率、瞬时峰值和文件体积是否真正降低传输与存储成本

不能只用相同QP值比较两代编码器,也不能仅凭一张静态截图判断整个视频的质量。对会议系统,翻页和滚动时文字是否清晰很重要;对巡检系统,运动中的目标是否仍可辨认更有价值。

四、压缩效率提升,如何转化为实时业务收益

对SmartMediaKit所服务的实时音视频业务而言,VVC最值得关注的地方,是它能否扩大“画面可用、带宽可承受、延迟可接受”的工作范围。

假设某条移动链路的可用带宽接近现有视频码率,更低的码率有可能减少发送端排队,为网络波动留出余量。但如果新增的编码或解码耗时更大,总延迟仍可能上升。

低码率能够缓解传输压力,低延迟需要整条链路共同实现。

不同场景,应采用不同的评估顺序。

无纸化会议与远程协作。 优先验证文字可读性、鼠标与翻页响应,再评估带宽收益。对于小字号彩色文字,还应检查色度采样和缩放处理;仅升级编码格式,未必能解决整个显示链路造成的模糊。

机器人与无人机回传。 优先关注画面的及时性、运动连续性和网络异常后的恢复。新编码格式适合先在受控链路中验证。操控指令、设备状态与视频传输也应分别设计,视频编码升级不应改变设备自身的控制保障机制。

安防监控与持续录像。 可以重点评估长期存储节省,但需要同时考虑检索回放、导出兼容性和多路解码能力。文件体积变小,如果换来回放终端明显减少或运维复杂度上升,整体收益仍需重新计算。

超高清与高并发分发。 带宽节省可能随用户量放大,更适合结合实际播放次数和终端覆盖率评估投入。编码端增加的成本,能否被后续分发收益抵消,是关键判断。

这也意味着,同一个系统中的实时预览、高清录像与远程分发,可以采用不同的编码策略。具体是否需要多路编码或转码,则要结合硬件资源与部署成本决定。

五、从H.265升级到H.266,为什么需要改造整条媒体链路

H.265、H.266属于视频编码标准;RTSP、RTMP属于流媒体系统中的协议体系。编码格式与传输协议处在不同层次。

一套系统能够播放RTSP H.265,并不能直接推出它能够播放RTSP H.266。除了增加解码能力,还要检查媒体描述、封装与解封装、初始化信息、时间戳以及中间节点的处理行为。

VVC已经有对应的RTP载荷规范RFC 9328,规定了相关封包与会话描述方式。这为互通提供了依据,具体服务器与终端仍需实现相应支持。

RTMP链路同样如此。SmartMediaKit官方博客介绍了播放器对国内RTMP H.265扩展方式和Enhanced RTMP HEVC的支持。这种适配经验说明,同一种编码在不同封装环境中的兼容处理,本身就是SDK的重要工作。

但现有HEVC支持不能直接外推为VVC支持。后续跟进仍需逐项确认:

  • 推送端与服务端是否采用一致的编码标识和封装规则。
  • 中间节点能否正确接收、转发并保留必要的初始化信息。
  • 播放端能否完成解码、时间同步和图像显示。
  • 录像模块能否正确写入,目标工具能否检索、回放和导出。
  • 终端不具备VVC能力时,系统是否提供真实可用的替代码流。

其中,“能够转发”“能够录像”和“能够解码显示”应分别验收。某个节点无需解码也可能完成兼容码流的转发,但截图、图像分析和画面合成通常需要解码后的图像。

所谓兼容回退,也必须有内容来源:需要编码端另供HEVC/AVC码流,或由系统安排转码,不能依靠修改一个格式标识完成。

六、SmartMediaKit后续跟进VVC,可以建立哪些技术优势

结合公开资料,SmartMediaKit已经围绕H.264/H.265形成推流、RTSP/RTMP播放、轻量级RTSP服务与录像等模块。其中,轻量级RTSP服务支持将H.264/H.265视频向客户端提供拉流访问;录像模块则为媒体业务提供独立的记录能力。

这些已有能力,为后续跟进VVC提供了工程基础。以下属于技术演进方向,不代表已经发布VVC全链路支持,也不构成版本或性能承诺。

第一,将新编码适配放进既有业务链路。

客户需要的是摄像头能够接入、现场能够观看、资料能够保存。SmartMediaKit已有多个媒体模块,可以为后续验证提供入口与出口,使VVC评估覆盖实际业务流程。

这种积累的价值,是帮助团队更早发现问题属于编码器、协议承载、播放器还是录像环节,降低跨组件排查的难度。

第二,将低延迟经验转化为新编码的验收要求。

后续引入VVC时,可以沿用实时业务对首帧、持续延迟、积压、重连和多路并行的要求。已有HEVC链路还可以作为比较基线,判断新编码在相同条件下改善了什么,又增加了哪些资源消耗。

这比单独展示“某个VVC文件可以播放”,更接近客户真正需要的技术结果。

第三,将跨平台积累转化为设备能力适配。

SmartMediaKit官方资料覆盖Windows、Linux及移动端的媒体集成,并提供Linux ARM64播放等实践资料。这些经验有助于后续围绕不同处理器、操作系统和显示环境组织验证。

对国产操作系统与Linux项目,验证应落实到具体发行版、处理器架构、图形环境和驱动。能够编译运行、能够软件解码、能够硬件加速,是不同层次的能力。

VVC已经有VVdeC等可用的软件解码实现,可用于开展技术评估;但软件能够运行,并不直接代表目标设备能够承担指定分辨率和并发路数。

第四,用渐进升级降低客户改造成本。

更具价值的演进方式,是保留已经验证的HEVC链路,再为具备条件的设备和业务增加VVC选项。上层任务管理、用户交互与运行状态处理,应尽量保持稳定。

这种优势最终体现为:客户可以按设备能力和项目收益选择升级范围,既有系统能够持续运行,新能力也有清晰的进入路径。

七、面向工程落地,建立可验证的VVC演进路线

从SmartMediaKit的产品与交付视角看,后续跟进VVC适合围绕明确的阶段成果展开。

阶段核心任务可交付的验证结果
码流与解码验证建立真实素材集,验证目标格式与设备解码能力兼容样本、画质对照、资源与性能记录
实时链路验证接通选定传输方式,测试首帧、时间同步与异常恢复指定网络和设备下的链路结果
模块协同验证检查转发、录像、回放及必要的图像处理可完成的业务流程与明确的能力边界
跨平台与灰度应用建立设备清单、替代码流与运行监测可部署范围及升级、回退条件

测试素材应来自客户实际业务:会议桌面中的细小文字、巡检视频中的密集纹理、低照度场景中的噪声,以及镜头快速运动时的细节。测试时长也应足以暴露温升、资源增长和并发竞争等问题。

对当前项目,可以继续以已经验证的HEVC方案满足交付要求,同时选择带宽或存储压力明显、终端范围可控的场景评估VVC。后续是否扩大使用,应由真实收益决定。

H.266/VVC为视频系统带来了更高的压缩潜力,也提高了对实现与系统协同的要求。对于SmartMediaKit,值得持续积累的技术优势,是将编码标准的进步转化为跨平台、低延迟、可记录、可维护的完整媒体能力。

当客户能够在明确的设备和网络条件下,以更少的数据获得满足业务要求的画面,同时保持稳定运行与可控升级,编码技术的代际进步才真正转化为产品价值。


📎 CSDN官方博客:音视频牛哥-CSDN博客 

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐