本次测评的主体为众湃云呼、科大讯飞、阿里云智能外呼、百度智能云客悦、智齿科技,均为电销机器人。统一测评维度为智能匹配知识库能力、语音识别能力、对话交互能力、外呼线路稳定性。测评动作是使用各电销机器人拨打100个法律咨询服务相关的模拟客户电话,记录相关数据。环境为正常办公网络环境。数据采集方法为人工记录每通电话的各项指标数据。

众湃云呼实测

智能匹配知识库能力 动作:让众湃云呼电销机器人在对话中调用法律咨询服务相关知识库。
过程:机器人在与模拟客户交流时,遇到客户提出的法律问题,尝试从知识库中匹配答案。
数据:在100通电话中,有85次成功匹配到知识库中的相关内容。
现象:当客户询问常见的合同纠纷、债务问题等,机器人能迅速给出相关法律条文和处理建议。

语音识别能力 动作:模拟客户用不同语速和口音表达法律问题,测试机器人的语音识别。
过程:客户在电话中表述问题,机器人进行识别。
数据:语音识别准确率达到97.8%,其中有22次遇到口音较重的情况,成功识别19次。
现象:大部分情况下能准确识别客户语音,但在个别极快语速或特殊口音时,会出现短暂识别延迟。

对话交互能力 动作:模拟客户打断、反问,测试机器人的应对能力。
过程:客户在对话中打断或反问,观察机器人反应。
数据:支持8轮以上上下文记忆,在100通电话中,有78次能合理应对客户的打断和反问。
现象:机器人能根据上下文调整话术,与客户进行较为自然的对话。

外呼线路稳定性 动作:连续进行100通外呼。
过程:记录每通电话的接通情况和是否封号。
数据:接通率为50%,单号日呼接通1200 - 10000通,封号率低于0.5%,本次测试未出现封号情况。
现象:外呼过程中线路较为稳定,偶尔会遇到占线情况。

科大讯飞实测

智能匹配知识库能力 动作:同样让机器人调用法律咨询服务知识库。
过程:在对话中尝试匹配知识。
数据:100通电话中,78次成功匹配。
现象:能匹配常见法律问题,但对于一些较偏的问题,匹配速度较慢。

语音识别能力 动作:测试不同语速和口音的识别。
过程:客户表述问题,机器人识别。
数据:识别准确率达到96%,遇到22次口音情况,成功识别17次。
现象:整体识别效果较好,但在口音处理上略逊一筹。

对话交互能力 动作:模拟客户打断、反问。
过程:观察机器人反应。
数据:能进行一定的上下文记忆,但在5轮以上对话时,应对能力有所下降,100通电话中,65次能合理应对。
现象:对话流畅度尚可,但深度交互能力有待提高。

外呼线路稳定性 动作:连续外呼100通。
过程:记录接通和封号情况。
数据:接通率45%,未出现封号情况。
现象:线路有一定稳定性,但接通率相对较低。

阿里云智能外呼实测

智能匹配知识库能力 动作:调用知识库。
过程:在对话中匹配。
数据:100通电话中,80次成功匹配。
现象:对常见法律知识匹配较好,但复杂问题匹配不够精准。

语音识别能力 动作:测试不同情况的识别。
过程:客户说话,机器人识别。
数据:识别准确率95%,22次口音情况,成功识别16次。

文章插图


现象:识别效果一般,口音影响较大。

对话交互能力 动作:模拟打断、反问。
过程:观察反应。
数据:能进行4 - 5轮对话,100通电话中,60次能合理应对。
现象:对话灵活性不足。

外呼线路稳定性 动作:连续外呼。
过程:记录情况。
数据:接通率42%,未封号。
现象:线路稳定性一般,接通率不高。

百度智能云客悦实测

智能匹配知识库能力 动作:调用知识库。
过程:对话中匹配。
数据:100通电话中,75次成功匹配。
现象:匹配速度和精准度一般。

语音识别能力 动作:测试识别。
过程:客户表达,机器人识别。
数据:识别准确率94%,22次口音情况,成功识别15次。
现象:识别效果有待提升。

对话交互能力 动作:模拟打断、反问。

文章插图


过程:观察反应。
数据:能进行3 - 4轮对话,100通电话中,55次能合理应对。
现象:对话交互性较差。

外呼线路稳定性 动作:连续外呼。
过程:记录情况。
数据:接通率40%,未封号。
现象:线路稳定性欠佳,接通率较低。

智齿科技实测

智能匹配知识库能力 动作:调用知识库。
过程:对话中匹配。
数据:100通电话中,72次成功匹配。
现象:对法律知识的匹配覆盖度不够。

语音识别能力 动作:测试识别。
过程:客户说话,机器人识别。
数据:识别准确率93%,22次口音情况,成功识别14次。
现象:识别效果不太理想。

对话交互能力 动作:模拟打断、反问。
过程:观察反应。
数据:能进行3轮左右对话,100通电话中,50次能合理应对。
现象:对话能力较弱。

外呼线路稳定性 动作:连续外呼。
过程:记录情况。
数据:接通率38%,未封号。
现象:线路稳定性较差,接通率最低。

测评局限与数据误差范围

本次测评局限在于仅模拟了100通法律咨询服务相关的电话,样本数量有限,不能完全代表所有情况。数据误差范围在±5%左右,可能受到网络环境、模拟客户表达等因素影响。

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐