服务机器人已广泛应用于零售、物流、餐饮、医疗及家庭等领域,其性能优劣直接关系到用户体验与场景落地的成功率。GB/T 38124-2019《服务机器人性能测试方法》为国家标准,为服务机器人的性能评估提供了统一的、科学的测试项与基准方法。该标准涵盖了人机交互、移动能力、操作能力、任务执行等多个维度的性能指标。

本文以国家标准GB/T 38124-2019《服务机器人性能测试方法》为指导框架,探讨服务机器人性能测试用例的系统化设计方法与优化策略。

GB/T 38124性能指标体系解析

在进行测试设计前,必须全面理解标准所构建的性能指标框架。

1、移动性能

测试项目

测试目的

关键指标

额定速度

测试机器人在额定负载下前往目标点的最大允许行进速度

速度(m/s)

制动能力

测试机器人的制动性能

制动距离、时间等(引用 ISO 18646-1)

最大坡度

测试机器人最大上、下坡角度及驻坡能力

坡度角度(°)

坡上最大速度

测试机器人在坡道上的最大速度

速度(m/s)(引用 ISO 18646-1)

越障能力

测试机器人越过障碍物和上下台阶的能力

障碍物类型、高度、直径、半径等

转弯宽度

测试机器人的转弯性能

转弯宽度(引用 ISO 18646-1)

2、定位导航

测试项目

测试目的

关键指标

目标定位

测试机器人到达目标点的姿态准确度和重复性

定位准确度、姿态准确度、重复性

导航能力

测试机器人在不同路径下的导航效率

路径偏差(m)

避障能力

测试机器人对静态/动态障碍物的避让能力

是否成功避障、运行时间

3、操作能力

测试项目

测试目的

关键指标

手指指力

测试机器人手指按压动作的最大按压力

指力(N)

手臂负载能力

测试机器人手臂托举动作的最大负载质量

负载质量(g)

4、续航能力

测试项目

测试目的

关键指标

持续工作时间

测试机器人单次充电后的最大运行时间

时间(h)

充电时间

测试机器人充满电所需的时间

时间(h)

5、能耗

测试项目

测试目的

关键指标

待机能耗

测试机器人在待机状态下的单位时间能耗

能耗(W·h/h)

工作能耗

测试机器人在工作状态下的单位时间能耗

能耗(W·h/h)

6、语音交互

测试项目

测试目的

关键指标

语音唤醒

测试机器人对唤醒词的响应能力

响应时间、唤醒成功率、误唤醒次数

声源定位

测试机器人对声源位置的判断准确性

声源角度误差(°)

语音识别

测试机器人对语音指令的识别能力

响应时间、识别成功率

7、人脸识别

测试项目

测试目的

关键指标

人脸检测

测试机器人检测人脸的能力

检测成功率、最大识别人脸数

人脸识别

测试机器人识别人脸的准确性

识别成功率(正脸/侧脸)

人脸识别距离

测试机器人能识别人脸的最远距离

最大识别距离(m)

这些指标并非孤立存在,而是相互关联、相互影响的。例如,环境光照的变化会同时影响基于视觉的移动定位精度和人机交互中的视觉识别成功率。

测试用例的系统化设计方法

基于上述指标体系,测试用例设计需从单一维度测试向多维度耦合测试转变。

1、基于“功能-性能-环境”的设计

传统的测试用例设计往往针对单一性能指标。为提升覆盖度,可以构建一个多维设计模型:

功能维度: 机器人所需执行的具体功能,如“自主导航到A点”、“语音播报天气”、“抓取水杯”。

性能维度: GB/T 38124中定义的各项量化指标,如“完成时间”、“定位误差”、“识别率”。

环境维度: 机器人运行的外部条件,如“强光/弱光”、“光滑瓷砖/粗糙地毯”、“静态障碍/动态人流”。

一个完整的测试用例应由这三个维度的元素组合而成。例如,测试用例可描述为:“在弱光环境下,机器人执行从充电桩导航至服务台的功能,评估其平均定位误差与任务完成时间。”

2、边界值与等价类划分法的应用

对于每个性能指标,需运用软件测试中的经典方法:

边界值分析: 针对性能指标的极限情况进行测试。例如,标准规定爬坡角度为5°,那么测试用例应设计为4.9°、5.0°和5.1°(或在安全裕度内略高于标准值),以检验机器人的极限性能与安全机制。

等价类划分: 将输入数据划分为若干等价类,从每个类中选取代表性样本。例如,将地面材质划分为“光滑类”(瓷砖、地板)和“粗糙类”(地毯、草地),每类选取1-2种进行测试,以减少冗余。

测试用例的优化策略

在复杂的现实场景中,测试用例的组合会呈指数级增长。优化策略的核心是在保证测试有效性的前提下,显著降低测试成本。

1、基于正交试验法的用例优化

当测试涉及多个因素(环境变量、任务参数),且每个因素有多个水平时,全面测试工作量巨大。正交试验法是一种高效的多因素试验设计方法,它通过选用正交表,科学地挑选出部分代表性强的用例进行测试,从而用最少的测试次数揭示各因素的主效应和交互作用。

实例: 设计一个机器人导航成功率的测试,考虑三个因素:

因素A(光照): A1(强光)、A2(常光)、A3(弱光)

因素B(地面材质): B1(瓷砖)、B2(短毛地毯)、B3(长毛地毯)

因素C(动态障碍密度): C1(无)、C2(稀疏)、C3(密集)

全面测试需要 3 × 3 × 3 = 27 次。若选用L9(3^4)正交表,仅需9次测试即可均衡地覆盖所有因素的水平组合,并能分析出哪个因素对导航成功率影响最大。

2、自适应与风险驱动的测试策略

测试不应是静态的,而应根据测试结果动态调整。

风险驱动: 优先测试高风险场景。例如,在餐厅场景中,“在人员密集区域运送汤食”的风险远高于“在空旷区域巡航”,因此应分配更多测试资源给前者,设计更严苛的稳定性与避障测试用例。

自适应测试: 利用机器人日志和测试结果数据。如果前期测试表明机器人在特定地面材质上定位性能始终良好,则可以适当减少该类材质的测试比重,将资源倾斜到性能波动较大或未达标的场景,实现测试资源的精准投放。

GB/T 38124为服务机器人性能评价提供了重要基准。希望通过本文内容能够给您带来一些思考和启发,如有人工智能检测实验室建设、人工智能工具选型等方面的需求,可私信进行线上技术交流讨论。

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐