智能音箱、陪护机器人、社区养老终端和居家健康设备,正在逐渐加入语音交互功能。

对于年轻用户来说,对着设备说一句“帮我设置明天早上八点的提醒”,通常不是什么困难的事情。

但如果把设备放进四川、重庆一些老年人的家中,情况可能就不同了。

一位习惯使用四川话的老人,可能会这样说:

明朝早上八点钟喊我一哈,莫让我睡过头了。

老人表达的意思非常清楚:希望设备在第二天早上八点提醒自己起床。

但语音系统需要完成的任务却不只是听懂几个汉字。

它需要识别“明朝”在这里表示明天,理解“喊我一哈”是一种提醒请求,还要识别“莫让我睡过头”中的否定表达。

如果通用 ASR 将这些地方词汇识别错误,后续的大模型即使具备较强的语言理解能力,也可能无法准确执行用户的需求。

而在实际养老场景中,问题往往还会更加复杂:老年人可能语速较慢、发音含混、声音较弱,终端麦克风距离较远,甚至存在电视声和其他家庭环境噪声。

这就提出了一个值得关注的技术问题:

当老年人习惯使用川渝方言时,智能终端应该怎样同时解决方言识别、老年语音适配和离线交互?

一、老年语音识别,为什么不能直接照搬普通 ASR?

语音识别模型的训练数据通常来自不同年龄、不同地区的说话人,但数据覆盖并不一定均衡。

对于部分高龄用户而言,语音特征可能与中青年人存在差异。

例如,随着年龄增长,部分人的声带振动、发声稳定性、气息控制和语音韵律可能发生变化。实际说话时,也可能出现更长的停顿、较弱的音量或者不连续的表达。

2025年 NeurIPS 发表的 SeniorTalk 研究,专门关注了这一问题。

研究团队构建了面向75岁及以上高龄群体的中文自然对话数据集,包含101段自然对话、202名参与者以及55.53小时语音。

该数据集不仅用于 ASR,还涉及说话人区分、声纹验证等任务,研究人员希望通过更加贴近真实交流的语料,改善语音模型对高龄用户的适应能力。

这项研究反映了一个重要问题:通用语音模型在整体测试集上取得较好成绩,并不代表它在不同年龄群体中具有完全相同的识别效果。

对于养老终端来说,尤其需要考虑三类输入差异。

影响因素可能出现的情况对 ASR 的影响
年龄相关语音变化音量较弱、发音稳定性变化、停顿增加音频切分及声学识别困难
地域方言四川话、重庆话及地方口语词汇词汇替换、识别遗漏
家庭环境电视声、远场拾音、多人交谈噪声干扰、误唤醒

三种因素叠加以后,识别难度可能明显高于安静环境中的标准普通话朗读。

例如,一位老人可能先说“帮我给娃儿打个电话”,停顿几秒后再补充“就是昨天来过的那个”。

如果 VAD(Voice Activity Detection,语音活动检测)切分过于激进,系统可能把这两句话当成两个完全独立的请求。

但从实际语义来看,后一句仍然是在补充前一句的联系人信息。

因此,老年语音系统不能只关注单句 ASR 准确率,还需要合理处理停顿、上下文和交互状态。

二、川渝方言:不仅是口音差异,还有大量地方表达

四川话、重庆话与普通话存在较近的语言关系,但真实交流中的差异并不只是发音。

例如:

娃儿,你帮我看哈这个药咋个吃。

我有点不安逸,想给社区医生打个电话。

把客厅灯关了嘛,等一哈再喊我吃药。

这些句子包含“娃儿”“咋个”“不安逸”“等一哈”等地方表达。

如果模型只具备识别四川口音普通话的能力,就未必能够准确保留这些词汇。

2026年 ICASSP 发表的 WenetSpeech-Chuan 研究,为川渝方言识别提供了新的数据基础。

研究团队构建了约10000小时川渝方言语音数据,覆盖有声读物、短视频、娱乐、访谈等多个领域,并发布了相应的 ASR 评测集。

在其官方测试中,SenseVoice-small 的识别结果如下:

评测集主要音频类型CER
Easy有声读物、朗读17.43%
Hard短视频、娱乐、影视剧等28.38%

CER(Character Error Rate)是字符错误率,数值越低表示错误越少。

这组结果说明,在该基准测试条件下,模型面对更加复杂的自然语音时,识别错误明显增加。

当然,Hard 测试集与 Easy 的区别并不只有噪声,还包括说话风格、内容领域和其他声学条件。

但对于养老应用,这种差异具有实际参考价值。

养老终端面对的通常不是播音员清晰朗读的语音,而是自然发生的家庭对话。

而且,WenetSpeech-Chuan 的公开数据与 SeniorTalk 的研究重点并不完全相同。

前者重点解决川渝方言的数据覆盖问题,后者重点研究高龄用户语音。

如果要开发真正适合川渝老年人的 ASR,就需要同时考虑地域方言与年龄相关语音特征,而不能将两类数据简单视为同一种训练资源。

三、从听懂四川话到执行指令,中间还差几个模块?

假设老人对着智能音箱说:

明朝上午九点钟提醒我吃药。

系统最终需要完成的是创建提醒,而不是仅仅显示一段文字。

因此,一套完整的养老语音终端通常需要以下技术链路:

老人使用川渝方言说话
          ↓
     麦克风阵列
          ↓
     音频降噪 / VAD
          ↓
     方言 ASR 识别
          ↓
     意图识别与槽位提取
          ↓
     业务状态与权限校验
          ↓
     指令确认 / 执行
          ↓
     TTS 语音反馈

其中 ASR、语义理解和 TTS 分别承担不同任务。

ASR 将语音转换成文字,语义理解模块判断用户希望完成什么操作,TTS 则负责将设备回应转换成语音。

例如:

原始语音:

明朝上午九点钟提醒我吃药。

ASR 输出:

明朝上午九点钟提醒我吃药

经过语义处理,可以生成:

{
  "intent": "create_reminder",
  "slots": {
    "date": "tomorrow",
    "time": "09:00",
    "task": "吃药"
  },
  "requires_confirmation": true
}

随后终端通过语音回应:

好,明天上午九点提醒你吃药,对不对?

得到确认后,再保存提醒任务。

这类交互设计有两个关键点。

首先,系统不能因为某句话出现了“吃药”就自动推断药物名称、剂量或者服药次数。对于医疗相关信息,应当以用户明确提供或已授权的记录为依据。

其次,系统需要考虑老年人可能使用不同的确认方式。

例如“要得”“嗯嘛”“对头”等地方表达,可能都属于肯定回应,而“莫得”“不是那个意思”则可能表达否定或者纠正。

因此,方言 ASR 不仅需要识别完整句子,还要准确处理短回应和连续交互。

四、端侧离线:为什么养老设备不能完全依赖云端语音服务?

许多智能语音产品采用云端 API 架构。

设备采集语音后,通过网络发送到云端服务器,由服务器完成识别和语义分析,再将结果返回设备。

这种方式便于集中管理模型和算力,但对于养老终端来说,网络依赖是需要单独考虑的问题。

例如,一些老年人居住的乡镇或农村地区,家庭网络条件未必始终稳定。即使在城市住宅中,也可能遇到宽带故障或路由器断网。

如果设备所有语音功能都依赖公网,那么网络中断后,老人可能连简单的语音提醒、设备控制都无法使用。

因此,端侧离线 ASR 是一种值得考虑的技术方案。

          智能养老终端
                │
                ▼
         本地音频采集
                │
                ▼
          降噪 / VAD
                │
                ▼
         端侧方言 ASR
                │
                ▼
        本地意图识别模块
                │
        ┌───────┴────────┐
        ▼                ▼
    本地提醒         需要联网的业务
    设备控制         远程联系家属
        │                │
        ▼                ▼
    本地执行         网络状态检查

这种架构能够让部分基础功能在无公网环境下继续运行。

例如,设置本地闹钟、查询已经保存的提醒、控制本地设备,都可以采用离线处理。

但需要联系家属、发送远程告警、查询网络信息等操作,仍然依赖相应的通信渠道。

对于端侧模型,还需要考虑硬件资源。

轻量化 ASR 可以通过 ONNX Runtime、INT8 量化等方式降低模型存储与推理资源需求,但量化后的识别效果和延迟仍需在目标硬件上测试。

如果终端采用 ARM 处理器,还需要确认推理框架、模型算子以及操作系统是否兼容。

因此,端侧部署的目标不是单纯把模型压缩到最小,而是在识别质量、响应时间、功耗和运行内存之间取得平衡。

五、养老终端还需要重点解决误唤醒与误操作

与普通语音输入不同,智能养老终端通常需要在家庭环境中长期待机。

这就会引出一个非常实际的问题:设备如何判断老人是在对它说话,还是在与家人交流?

例如客厅里正在播放电视剧,电视中的人物说了一句:

快点过来帮我一哈。

如果终端错误地将电视声音当成用户指令,就可能发生误唤醒或误操作。

因此,长期运行的养老设备通常需要唤醒词识别、VAD、声学检测以及指令确认机制配合工作。

对于低风险操作,例如查询时间、播报天气,可以采用比较直接的交互方式。

而对于删除提醒、修改重要设置、发起远程通知等操作,则应该加入相应确认步骤。

特别是紧急求助功能,不能完全依赖 ASR 对单句话的判断。

例如老人说:

我不舒服,帮我喊个人来。

这句话可能意味着普通求助,也可能涉及需要立即处理的健康风险。

系统可以尝试识别求助意图,并主动询问是否需要联系家属或工作人员。但如果老人无法继续回应,还需要结合明确授权的紧急联系人、设备状态和预设应急流程处理。

在这种场景中,可靠性比回答是否流畅更加重要。

因此,养老设备最好同时保留实体紧急呼叫按键等非语音操作方式,避免将所有求助功能都绑定在单一识别模型上。

六、已有养老终端,怎样增加川渝方言识别能力?

对于养老机器人、智能音箱、社区养老终端以及医疗辅助设备厂商来说,语音识别往往只是设备的一项基础能力。

这些设备可能已经拥有自己的硬件、管理后台、业务流程和远程服务系统。

如果厂商现在希望增加四川话、重庆话识别功能,并不意味着必须重新开发整套应用。

更直接的方式,是将方言 ASR 作为独立模块接入现有设备。

例如:

现有养老设备
      ↓
麦克风采集
      ↓
本地 ASR 模块
      ↓
文本 / 识别状态
      ↓
原有交互程序
      ↓
提醒、查询、设备控制

在具体交付上,可以根据终端硬件选择本地 SDK、独立推理服务,或者由养老机构内部服务器统一提供 ASR 能力。

其中,本地 SDK 更适合希望减少网络依赖、计算资源满足要求的设备;集中推理则适合终端数量较多、希望统一维护模型的养老机构。

从独立语音能力供应角度来看,熙瑾信息提供的 ASR 技术支持包括川渝方言在内的多种地区语音场景,相关语音能力经过 CNAS 认可实验室检测,覆盖多达25种方言,同时具备端侧、离线和模块化集成能力。

对于已有硬件和业务系统的厂商而言,可以将这类语音识别能力接入设备底层,再由原有软件负责意图理解、提醒管理、设备控制及远程服务。

这样,语音模块不必承担整个养老系统的业务逻辑,也不要求用户更换原来的操作入口。

不过,老年人语音识别仍然需要开展专项验证。普通川渝方言测试结果不能直接代表高龄用户的识别效果,实际部署还应覆盖不同年龄、说话习惯和家庭声学环境。

七、如何建立面向川渝老年人的 ASR 测试集?

如果要评价一套 ASR 是否适合养老终端,我更建议将测试拆成几个层次,而不是只计算一个整体识别准确率。

测试类别具体内容主要指标
基础川渝方言成都话、重庆话及其他地区表达CER
老年语音不同年龄段、音量和语速分年龄组 CER
家庭噪声电视、空调、多人交谈噪声条件下的 CER
短指令提醒、开灯、查询等意图识别正确率
否定与纠正莫得、不得行、等一哈关键语义正确率
紧急求助求助表达、拒绝、无法回应漏检率、误报率及升级处置结果
离线运行断网、连续待机、设备重启响应时间、稳定性

其中,不能只看 CER(Character Error Rate)。

例如下面两句话:

参考文本:
先莫打电话。

识别结果:
先打电话。

只遗漏一个“莫”字,就可能导致设备执行与用户意图相反的操作。

因此,除了字符错误率,还需要重点评估否定词、时间、数字以及操作目标等关键信息。

在工程实现上,可以让语义理解模块返回结构化指令,再根据风险等级决定执行策略。

例如:

def handle_voice_command(intent, confidence, risk):
    if confidence < 0.8:
        return "请再说一遍"

    if risk == "high":
        return "需要确认后执行"

    if risk == "medium":
        return "复述指令并等待确认"

    return "执行低风险操作"

这里的置信度阈值只是控制逻辑的设计示例,实际产品需要根据模型输出的置信度可靠性、误识别代价和验证集表现确定阈值。

对于紧急求助等高风险场景,不能简单使用统一阈值决定是否忽略请求。更合理的设计是建立独立的求助识别与升级处理策略,并保留人工或实体按键等备用渠道。

最终,一套面向川渝老年人的语音系统,至少需要同时验证三个层次:ASR 是否准确还原了原话,语义系统是否正确理解了指令,以及设备是否按照安全规则执行了操作。

这三者不能互相代替。

八、方言语音交互的价值,是让老人不必适应机器

过去许多语音产品主要围绕标准普通话设计交互方式。

用户需要尽量按照设备能够理解的词汇和句式说话,必要时还要重复指令。

但对部分习惯使用地方方言的老年人来说,这种使用方式并不自然。

如果设备能够识别“帮我看一哈”“咋个弄”“莫得了”“等一哈”等日常表达,就不必要求老人刻意改变语言习惯。

WenetSpeech-Chuan 的发布,为川渝方言识别提供了更丰富的数据基础;SeniorTalk 等老年语音研究,则提示开发者需要进一步关注高龄人群在真实交流中的语音特征。

两类研究结合起来,也为智能养老终端提出了更明确的技术方向:既要提高对地方方言的识别能力,也要适应不同年龄群体的自然发声和表达方式。

而从工程应用来看,端侧离线 ASR、模块化集成和安全交互设计,则决定了这些语音能力能否真正进入智能音箱、陪护机器人、社区服务终端等设备。

适合老年人的语音交互,不应该要求老人学会机器的语言,而应该让机器尽可能理解老人原本的说话方式。

对于川渝这样地方语言使用广泛的地区,方言 ASR 不只是提高几项识别指标,更是在降低老年人使用数字设备时的语言门槛。


参考资料

  1. Dai, Y., et al. (2026). WenetSpeech-Chuan: A Large-Scale Sichuanese Corpus with Rich Annotation for Dialectal Speech Processing. ICASSP 2026.
    https://arxiv.org/abs/2509.18004

  2. WenetSpeech-Chuan 官方开源项目与 ASR 评测结果。
    https://github.com/ASLP-lab/WenetSpeech-Chuan

  3. Yang, C., et al. (2025). SeniorTalk: A Chinese Conversation Dataset with Rich Annotations for Super-Aged Seniors. NeurIPS 2025.
    https://proceedings.neurips.cc/paper_files/paper/2025/hash/9131c4dcd22daaa5ed4aa573ab5fdde8-Abstract-Datasets_and_Benchmarks_Track.html

  4. Feng, S., et al. (2023). Towards Inclusive Automatic Speech Recognition. Computer Speech & Language.
    https://doi.org/10.1016/j.csl.2023.101567

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐