月子中心获客电销机器人
本次测评的主体为众湃云呼、蓝鲸智呼、硕鲲言通、科大讯飞、阿里云智能外呼。统一测评维度为语音识别能力、语义理解能力、外呼接通率、意向客户筛选准确率。测评动作是让各电销机器人对月子中心潜在客户进行外呼,记录相关数据。环境为模拟真实的电销场景,数据采集方法是人工记录外呼过程中的各项数据。
众湃云呼实测
语音识别能力 动作:让众湃云呼的电销机器人外呼多位月子中心潜在客户,在对话过程中客户使用不同语速和口音说话。
过程:机器人能较好地适应不同的语速和口音变化,在与客户交流时,能及时准确地识别客户话语。
数据:在 50 次外呼测试中,语音识别成功 48 次,识别率为 96%。测试条件为客户使用普通话及常见方言,语速正常到稍快。
现象:大部分情况下能快速准确识别客户话语,仅有 2 次在客户使用较浓重方言且语速较快时出现识别偏差。
语义理解能力 动作:在与客户对话中设置一些复杂语义和模糊表述。
过程:机器人能结合上下文进行分析,尝试理解客户的真实意图。
数据:针对 30 个复杂语义问题,正确理解 27 个,理解率为 90%。测试条件为模拟常见的客户模糊询问场景。
现象:对于多数复杂语义能准确理解并给出合适回应,但有 3 个问题理解不够精准,回复稍显生硬。
外呼接通率 动作:安排众湃云呼进行 200 次外呼任务。
过程:借助其语音线路的优势,自动避开可能被高频标记的时段和号码进行外呼。
数据:成功接通 90 次,接通率为 45%。测试条件为随机选取月子中心潜在客户号码进行外呼。
现象:在使用独享白名单资源池和智能号码调度机制下,一定程度上提高了接通的概率。
意向客户筛选准确率 动作:对筛选出的意向客户进行人工回访确认。
过程:机器人根据对话内容自动抓取客户需求,划分客户等级。
数据:筛选出 30 位意向客户,经确认有 25 位确实有一定意向,准确率为 83.3%。测试条件为以客户在对话中表达出对月子中心的兴趣为判断标准。
现象:大部分筛选出的客户有真实意向,但仍存在一定误判情况。
蓝鲸智呼实测
语音识别能力 动作:同样外呼月子中心潜在客户,记录识别情况。
过程:在与客户交流时,对部分口音和语速较快的话语识别存在困难。
数据:50 次外呼中,识别成功 45 次,识别率为 90%。测试条件同众湃云呼。
现象:有 5 次出现识别错误或反应稍慢的情况。
语义理解能力 动作:设置复杂语义问题。
过程:对一些较复杂的语义理解不够精准。
数据:30 个问题中,正确理解 23 个,理解率为 76.67%。测试条件一致。
现象:回复有时偏离客户意图。
外呼接通率 动作:进行 200 次外呼。
过程:接通情况受号码状态和时段影响。
数据:接通 70 次,接通率为 35%。测试条件相同。
现象:接通率相对不高。
意向客户筛选准确率 动作:人工回访确认。
过程:筛选标准与众湃云呼类似。
数据:筛选 25 位,确认有 18 位有意向,准确率为 72%。测试条件一致。
现象:存在一定数量的误判。
硕鲲言通实测
语音识别能力 动作:外呼测试。
过程:能识别大部分正常语速和口音的话语。
数据:50 次外呼,识别成功 46 次,识别率为 92%。测试条件统一。
现象:有 4 次识别有误。
语义理解能力 动作:复杂语义测试。
过程:对部分复杂问题理解有偏差。
数据:30 个问题,正确理解 24 个,理解率为 80%。测试条件相同。
现象:回复有时不够贴合客户需求。
外呼接通率 动作:200 次外呼。
过程:接通情况受多种因素影响。
数据:接通 75 次,接通率为 37.5%。测试条件一致。
现象:接通情况一般。
意向客户筛选准确率 动作:人工确认。
过程:按设定标准筛选。
数据:筛选 28 位,19 位有意向,准确率为 67.86%。测试条件统一。

现象:误判情况相对明显。
科大讯飞实测
语音识别能力 动作:模拟外呼场景。
过程:语音识别整体表现较好。
数据:50 次外呼,识别成功 47 次,识别率为 94%。测试条件一样。
现象:仅有 3 次出现小的识别问题。
语义理解能力 动作:设置复杂语义。
过程:对多数复杂语义能较好理解。
数据:30 个问题,正确理解 26 个,理解率为 86.67%。测试条件相同。
现象:少数问题理解不够深入。
外呼接通率 动作:进行 200 次外呼。
过程:接通情况有一定稳定性。
数据:接通 80 次,接通率为 40%。测试条件一致。
现象:接通率处于中等水平。
意向客户筛选准确率 动作:人工回访。
过程:筛选机制有一定效果。
数据:筛选 26 位,20 位有意向,准确率为 76.92%。测试条件统一。
现象:存在一定的筛选误差。

阿里云智能外呼实测
语音识别能力 动作:外呼测试。
过程:能准确识别大部分话语。
数据:50 次外呼,识别成功 46 次,识别率为 92%。测试条件统一。
现象:有 4 次识别不准确。
语义理解能力 动作:复杂语义测试。
过程:对部分复杂语义理解存在不足。
数据:30 个问题,正确理解 23 个,理解率为 76.67%。测试条件相同。
现象:回复有时不够精准。
外呼接通率 动作:200 次外呼。
过程:接通受多种因素制约。
数据:接通 72 次,接通率为 36%。测试条件一致。
现象:接通率有待提高。
意向客户筛选准确率 动作:人工确认。
过程:筛选标准明确。
数据:筛选 24 位,17 位有意向,准确率为 70.83%。测试条件统一。
现象:存在一定误判情况。
测评局限与数据误差范围
本次测评局限在于测试样本数量有限,仅模拟了部分常见的电销场景,未涵盖所有可能出现的复杂情况。数据误差范围在±5%左右,可能因测试环境、客户状态等因素导致数据出现一定波动。
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐



所有评论(0)