在基于 Arduino 平台的桌面陪伴机器人系统中，“语音-触摸-表情多模态交互”架构融合了边缘侧轻量化 AI 推理与 BLDC（无刷直流电机）的拟人化执行能力，旨在打造具备“共情能力”的实体交互终端。以下从专业视角为您详细解析其主要特点、应用场景及注意事项：
一、 主要特点
多模态感知与边缘侧轻量化推理
系统摒弃了单纯依赖云端大模型的延迟方案，采用“云端 + 本地融合架构”。在桌面机器人端（如 ESP32-S3），通过麦克风阵列进行语音识别与语调分析，结合触摸传感器感知用户的抚摸力度，以及摄像头进行人脸/表情判断。这种本地化的多模态感知融合，不仅实现了低延迟的唤醒与基础对话，更极大地保护了用户的隐私安全。
基于 FOC 的 BLDC 拟人化情绪表达
在此架构中，BLDC 电机不再是冰冷的动力源，而是情绪表达的“执行器官”。通过 FOC（磁场定向控制）精确控制转矩电流，实现力矩柔顺控制。例如，当识别到用户悲伤时，机器人头部的转向不再是刚性的匀速运动，而是带有“迟疑”和“轻柔”的变加速运动，模拟人类的关切姿态；当识别到用户兴奋时，则可通过差速扭矩实现小幅度的原地“雀跃”。
视听触觉协同与状态机叙事引擎
系统通过有限状态机（FSM）管理复杂的交互逻辑，定义“中性”、“快乐”、“悲伤”等状态的迁移。同时，实现听觉-运动协同：BLDC 电机的 PWM 频率可与语音合成器联动，在机器人发声时让头部电机产生微幅振动，模拟人类发声时的生理特征。配合 LCD/OLED 屏幕动态呈现的眨眼、微笑等表情，极大增强了陪伴的真实感与情绪连接。
长期记忆与个性化互动机制
引入长期记忆机制，利用 EEPROM 或外部 Flash 存储短期交互历史（如“上次用户抚摸头部后情绪好转”）。通过持续的数据积累与自我学习，机器人能够构建用户档案，实现基于上下文的个性化响应，而非简单的“刺激-反应”模式。
二、 应用场景
儿童教育与互动陪伴
作为桌面桌宠或儿童互动玩具，机器人通过视觉识别判断儿童的情绪状态。当检测到焦虑或哭闹时，提供缓慢、重复的 BLDC 驱动摆动动作（如左右摇晃）进行安抚；识别到笑脸时触发奖励性的灯光和音乐，强化正向社交行为。
老年人情感陪护与认知训练
在独居老人的日常陪伴中，机器人通过语音交互识别老人的孤独感，主动靠近（BLDC 驱动底盘平滑移动）并播放老人喜爱的音乐。同时，通过表情识别监测老人是否长时间情绪低落，自动通知监护人，预防认知衰退。
心理康复训练辅助
针对抑郁症或焦虑症患者的康复训练，机器人可记录用户每日的情绪波动曲线。在识别到负面情绪峰值时，启动预设的认知行为疗法（CBT）对话脚本，并通过 BLDC 驱动的柔和肢体语言（如点头、侧身倾听）增强共情效果。
智能家居情感化中枢
作为家庭中的移动式情感交互终端，识别家庭成员的情绪状态并动态调节室内环境（如映射 RGB 灯光色调）。在用户回家时，根据面部表情判断其疲惫程度，选择是活跃迎接还是安静跟随。
三、 需要注意的事项
硬件选型与算力瓶颈
情绪识别需要运行轻量级神经网络（如 MobileNetV1 8-bit 量化版），传统的 AVR 架构（如 Arduino Uno）完全不可行。强烈推荐使用 ESP32-S3（双核，支持向量指令）或 STM32H7 系列。摄像头建议选用带 FIFO 的型号（如 OV7670+AL422B），麦克风建议选用直接输出 PDM 数据的数字 MEMS 麦克风（如 INMP441），以减轻 CPU 负担。
电机驱动与“恐怖谷”规避
必须使用 FOC 驱动方案（如 DRV8313 或 L6234），以实现对扭矩的精细控制，避免步进电机的“顿挫感”破坏情绪表达。同时，BLDC 的动作轨迹必须经过加减速规划（S曲线），避免突然启动或停止；情绪识别到动作执行的延迟应严格控制在 200ms 以内，超过 500ms 会严重破坏交互沉浸感，甚至落入“恐怖谷效应”。
嵌入式系统的实时任务调度
为保证情感闭环的流畅性，系统需严格分层调度：高频层（10-20kHz）运行 BLDC FOC 电流环确保动作平滑；中频层（100-500Hz）处理传感器数据采集与轻量化情绪推理；低频层（10-50Hz）运行状态机更新与叙事逻辑处理。
数据隐私与合规性
由于系统涉及持续的面部图像采集与语音监听，在面向儿童或老人的应用中，必须严格遵守数据隐私法规。建议采用纯边缘端推理，不将原始音视频数据上传云端，并在硬件或软件层面提供明确的隐私指示灯与物理断电开关，给予用户绝对的安全感。

1、语音+触摸双模态指令交互与BLDC动作反馈
适用场景：基础交互层——机器人接收语音指令或触摸感知，驱动BLDC电机做出点头、摇头、转身等拟人化动作。

#include <SimpleFOC.h>

// ==================== BLDC关节电机 ====================
BLDCMotor head_motor(7);   // 头部转动/点头
BLDCMotor tail_motor(7);   // 尾巴摆动
// 需补充Encoder和Driver初始化...

// ==================== 传感器引脚 ====================
const int touchPin = 2;        // 触摸传感器（头顶/背部）
const int TOUCH_PAT_PIN = 3;   // 拍打传感器（互动判定）

String voiceCommand = "";      // 语音指令（从串口接收）

// ==================== 情绪状态 ====================
enum Emotion { NEUTRAL, HAPPY, SAD, CURIOUS };
Emotion currentEmotion = NEUTRAL;
unsigned long lastInteraction = 0;

void setup() {
  Serial.begin(115200);  // 与离线语音模块通信[citation:2]
  
  // BLDC电机初始化（角度控制模式）
  head_motor.controller = MotionControlType::angle;
  tail_motor.controller = MotionControlType::angle;
  head_motor.init(); head_motor.initFOC();
  tail_motor.init(); tail_motor.initFOC();
  
  pinMode(touchPin, INPUT);
  pinMode(TOUCH_PAT_PIN, INPUT);
}

void loop() {
  head_motor.loopFOC(); tail_motor.loopFOC();
  
  // ==================== 1. 触摸交互 ====================
  if (digitalRead(touchPin) == HIGH) {
    lastInteraction = millis();
    currentEmotion = HAPPY;
    
    // 表现开心：快速摇头 + 摆尾[citation:1]
    head_motor.move(0.5); 
    delay(150);
    head_motor.move(-0.5);
    delay(150);
    head_motor.move(0);
    
    tail_motor.move(0.8);
    delay(200);
    tail_motor.move(-0.8);
    delay(200);
    tail_motor.move(0);
    
    Serial.println("🐾 触摸→开心");
  }
  
  // 拍打检测（模拟安抚/愤怒）
  if (digitalRead(TOUCH_PAT_PIN) == HIGH) {
    static unsigned long lastPat = 0;
    if (millis() - lastPat < 300) {  // 连续拍打
      currentEmotion = SAD;
      head_motor.move(0.3);  // 低头
      delay(500);
      head_motor.move(0);
      Serial.println("😢 拍打→悲伤（低头）");
    }
    lastPat = millis();
  }
  
  // ==================== 2. 语音指令交互 ====================
  if (Serial.available()) {
    voiceCommand = Serial.readStringUntil('\n');
    voiceCommand.trim();
    
    if (voiceCommand == "nod") {
      // 点头：顺从/认同[citation:1]
      head_motor.move(0.4);
      delay(400);
      head_motor.move(0);
      Serial.println("✅ 语音→点头");
      
    } else if (voiceCommand == "shake") {
      // 摇头：拒绝/困惑
      head_motor.move(-0.5);
      delay(300);
      head_motor.move(0.5);
      delay(300);
      head_motor.move(0);
      
    } else if (voiceCommand == "look_left") {
      head_motor.move(-0.6);
      delay(500);
      head_motor.move(0);
      
    } else if (voiceCommand == "look_right") {
      head_motor.move(0.6);
      delay(500);
      head_motor.move(0);
      
    } else if (voiceCommand == "happy") {
      currentEmotion = HAPPY;
      // 开心动作：点头+摆尾
      for (int i = 0; i < 3; i++) {
        head_motor.move(0.3); delay(100);
        head_motor.move(-0.3); delay(100);
      }
      head_motor.move(0);
    }
  }
  
  // ==================== 3. 空闲状态行为 ====================
  if (millis() - lastInteraction > 10000) {
    // 长时间无交互→好奇（左右张望）
    static unsigned long lookTime = 0;
    if (millis() - lookTime > 3000) {
      currentEmotion = CURIOUS;
      head_motor.move(0.4);
      delay(300);
      head_motor.move(-0.4);
      delay(300);
      head_motor.move(0);
      lookTime = millis();
    }
  }
  
  delay(50);
}

核心要点：

双模态输入融合：触摸传感器（物理接触）和语音模块（串口指令）并行监听

情绪状态驱动：根据交互类型切换情绪状态，触发不同BLDC动作序列

空闲行为：长时间无交互自动进入“好奇”状态，模拟生命感

2、触摸模式识别 + 表情显示联动（OLED表情 + BLDC动作）
适用场景：配备OLED屏幕的桌面机器人，触摸传感器识别不同触摸模式（单击、双击、长按、连续拍打），屏幕切换对应GIF表情，BLDC电机同步执行情绪化动作。

#include <SimpleFOC.h>
#include <Wire.h>
#include <Adafruit_SH1106.h>  // OLED显示驱动

// ==================== BLDC电机 ====================
BLDCMotor head_motor(7), tail_motor(7);

// ==================== OLED显示屏 ====================
#define SCREEN_WIDTH 128
#define SCREEN_HEIGHT 64
Adafruit_SH1106 display(SCREEN_WIDTH, SCREEN_HEIGHT, &Wire, -1);

// ==================== 触摸传感器（4路） ====================
const int TOUCH_LEFT = 0;
const int TOUCH_RIGHT = 1;
const int TOUCH_HEAD = 2;
const int TOUCH_BACK = 3;

// ==================== 触摸模式检测 ====================
struct TouchState {
  bool current[4];
  bool last[4];
  unsigned long pressTime[4];
  unsigned long releaseTime[4];
  uint8_t tapCount[4];
};

TouchState touch;

// ==================== 情绪/表情枚举 ====================
enum Emotion { 
  HAPPY, SAD, ANGRY, SURPRISED, CURIOUS, SLEEPY, CONTENT 
};
Emotion currentEmotion = CONTENT;

// ==================== 表情映射表[citation:4] ====================
const char* emotionGIFs[7] = {
  "happy",    // 开心GIF
  "sad",      // 悲伤GIF  
  "anger",    // 愤怒GIF
  "scare",    // 惊吓GIF
  "buxue",    // 困惑GIF
  "sleepy",   // 困倦GIF
  "static"    // 中性表情
};

void setup() {
  Serial.begin(115200);
  
  // BLDC初始化
  head_motor.controller = MotionControlType::angle;
  tail_motor.controller = MotionControlType::angle;
  head_motor.init(); head_motor.initFOC();
  tail_motor.init(); tail_motor.initFOC();
  
  // OLED初始化
  display.begin(0x3C, true);
  display.clearDisplay();
  display.display();
  
  // 触摸传感器初始化
  for (int i = 0; i < 4; i++) {
    pinMode(i, INPUT);
  }
}

void loop() {
  head_motor.loopFOC(); tail_motor.loopFOC();
  
  // ==================== 1. 触摸模式检测 ====================
  updateTouchSensors();
  TouchPattern pattern = detectTouchPattern();
  
  if (pattern != TOUCH_NONE) {
    // ==================== 2. 根据触摸模式触发响应 ====================
    respondToTouch(pattern);
    
    // 3. 更新OLED表情
    displayEmotion(currentEmotion);
  }
  
  // ==================== 4. 空闲状态：呼吸表情 ====================
  static unsigned long lastBreathe = 0;
  if (millis() - lastBreathe > 5000) {
    // 空闲时缓慢眨眼/呼吸
    currentEmotion = CONTENT;
    displayEmotion(CONTENT);
    lastBreathe = millis();
  }
  
  delay(20);
}

// ==================== 触摸模式检测 ====================
enum TouchPattern { TOUCH_NONE, TOUCH_SINGLE, TOUCH_DOUBLE, 
                    TOUCH_LONG_PRESS, TOUCH_RAPID_TAPS };

TouchPattern detectTouchPattern() {
  unsigned long now = millis();
  
  for (int i = 0; i < 4; i++) {
    if (!touch.current[i]) continue;
    
    unsigned long duration = now - touch.pressTime[i];
    
    // 长按检测 (>3秒)[citation:3]
    if (duration > 3000) {
      return TOUCH_LONG_PRESS;
    }
    
    // 快速连拍检测 (5次/2秒)[citation:3]
    if (touch.tapCount[i] >= 5 && (now - touch.releaseTime[i] < 2000)) {
      return TOUCH_RAPID_TAPS;
    }
    
    // 双击检测 (2次 < 500ms)[citation:3]
    if (touch.tapCount[i] == 2 && (now - touch.releaseTime[i] < 500)) {
      return TOUCH_DOUBLE;
    }
  }
  return TOUCH_NONE;
}

// ==================== 触摸响应 ====================
void respondToTouch(TouchPattern pattern) {
  switch(pattern) {
    case TOUCH_SINGLE:
      currentEmotion = HAPPY;
      // 开心：点头 + 摆尾
      head_motor.move(0.3); delay(200); head_motor.move(0);
      tail_motor.move(0.5); delay(300); tail_motor.move(0);
      break;
      
    case TOUCH_DOUBLE:
      currentEmotion = SURPRISED;
      // 惊吓：快速抬头 + 僵住
      head_motor.move(0.6); delay(400); head_motor.move(0);
      break;
      
    case TOUCH_LONG_PRESS:
      currentEmotion = SLEEPY;
      // 困倦：缓慢低头 + 尾巴下垂
      head_motor.move(0.4); delay(600); head_motor.move(0);
      tail_motor.move(-0.3); delay(300); tail_motor.move(0);
      break;
      
    case TOUCH_RAPID_TAPS:
      currentEmotion = ANGRY;
      // 愤怒：快速摇头
      for (int i = 0; i < 5; i++) {
        head_motor.move(0.5); delay(100);
        head_motor.move(-0.5); delay(100);
      }
      head_motor.move(0);
      break;
  }
}

// ==================== OLED表情显示[citation:4] ====================
void displayEmotion(Emotion emo) {
  display.clearDisplay();
  display.setTextSize(1);
  display.setTextColor(SH110X_WHITE);
  display.setCursor(0, 0);
  
  // 显示表情符号 + 状态文字
  switch(emo) {
    case HAPPY:    display.println("😊 Happy"); break;
    case SAD:      display.println("😢 Sad"); break;
    case ANGRY:    display.println("😠 Angry"); break;
    case SURPRISED:display.println("😮 Wow!"); break;
    case CURIOUS:  display.println("🧐 Hmm?"); break;
    case SLEEPY:   display.println("😴 Zzz"); break;
    case CONTENT:  display.println("🙂 Content"); break;
  }
  
  // 显示小表情GIF（实际可用LVGL GIF组件[citation:4]）
  display.println("====");
  display.print("Emo: ");
  display.println(emotionGIFs[emo]);
  
  display.display();
}

核心要点：

触摸模式分类：单次/双击/长按/快速连拍，触发不同情绪

多模态联动：触摸模式→情绪状态→屏幕表情切换 + BLDC动作同步

自适应个性：长期交互记录可影响响应偏好

3、多模态情感识别（TensorFlow Lite）+ BLDC柔顺反馈
适用场景：通过摄像头和麦克风本地识别用户情绪状态（开心/悲伤/愤怒），映射为BLDC驱动的柔顺肢体动作和语音反馈。

#include <SimpleFOC.h>
#include <TensorFlowLite.h>   // TensorFlow Lite Micro

// ==================== BLDC关节 ====================
BLDCMotor neck_motor(7);    // 颈部（点头/摇头）
BLDCMotor gesture_motor(7); // 手势关节

// ==================== 情绪推理（简化） ====================
// 实际项目：摄像头图像 + 麦克风音频 → TFLite模型推理[citation:1]
enum Emotion { HAPPY, SAD, ANGRY, NEUTRAL };
Emotion detectedEmotion = NEUTRAL;

// 模拟情绪识别结果（实际需从模型获取）
float emotionConfidence[4] = {0.0, 0.0, 0.0, 0.0};

// ==================== BLDC柔顺参数 ====================
float smooth_target = 0.0;
float current_pos = 0.0;
const float SMOOTH_FACTOR = 0.12;   // 平滑系数

void setup() {
  Serial.begin(115200);
  
  neck_motor.controller = MotionControlType::angle;
  gesture_motor.controller = MotionControlType::angle;
  neck_motor.init(); neck_motor.initFOC();
  gesture_motor.init(); gesture_motor.initFOC();
  
  // TensorFlow Lite Micro初始化...
  // 加载量化后的情感分类模型（MobileNetV1 8-bit）[citation:1]
}

void loop() {
  neck_motor.loopFOC(); gesture_motor.loopFOC();
  
  // ==================== 1. 运行本地情感推理 ====================
  // 实际：采集摄像头图像+麦克风音频 → 模型推理[citation:10]
  // detectedEmotion = runInference(faceFeatures, audioFeatures);
  
  // 模拟推理结果（示例：循环切换）
  static unsigned long lastInfer = 0;
  if (millis() - lastInfer > 3000) {
    detectedEmotion = (Emotion)((detectedEmotion + 1) % 4);
    lastInfer = millis();
    Serial.print("🧠 识别情绪: ");
    Serial.println(detectedEmotion);
  }
  
  // ==================== 2. 情绪→BLDC柔顺动作映射 ====================
  float target = 0.0;
  
  switch(detectedEmotion) {
    case HAPPY:
      // 开心：轻微点头 + 快速小幅度摆动（喜悦）[citation:1]
      target = 0.3 * sin(millis() / 300.0);
      gesture_motor.move(0.4 * sin(millis() / 400.0));
      Serial.println("😊 开心→轻快点头");
      break;
      
    case SAD:
      // 悲伤：缓慢低头 + 迟疑动作[citation:1]
      target = -0.35;
      gesture_motor.move(-0.2);
      Serial.println("😢 悲伤→低头");
      break;
      
    case ANGRY:
      // 愤怒：快速摇头
      target = 0.6 * sin(millis() / 150.0);
      gesture_motor.move(0.3 * sin(millis() / 200.0));
      Serial.println("😠 愤怒→摇头");
      break;
      
    case NEUTRAL:
    default:
      // 中性：注视用户（轻微偏头）
      target = 0.05 * sin(millis() / 2000.0);
      gesture_motor.move(0);
      break;
  }
  
  // ==================== 3. 柔顺平滑插值 ====================
  // 避免生硬动作，模拟人类情绪表达的“迟疑”和“轻柔”[citation:1]
  current_pos += (target - current_pos) * SMOOTH_FACTOR;
  neck_motor.move(current_pos);
  
  // 动作延迟控制在200ms以内[citation:1]
  delay(30);
}

核心要点：

本地边缘推理：在ESP32-S3上运行TensorFlow Lite量化模型，无需云端

柔顺运动映射：通过FOC控制Iq（转矩电流），使动作带有“迟疑”“轻柔”特性

响应延迟控制：识别到动作执行控制在200ms以内，超过500ms破坏沉浸感

要点解读

1. 多模态融合是“真实感”交互的基础
   桌面陪伴机器人的交互体验取决于触觉（触摸）、听觉（语音）、视觉（表情）三条通道的协同。单一模态的机器人“机械感”强，多模态融合才能模拟人类的多通道感知与响应。

2. BLDC FOC是实现“情绪化运动”的执行保障
   通过FOC精确控制转矩电流（Iq），让BLDC动作不再是刚性匀速运动，而是带有“迟疑”“轻柔”“颤抖”等情绪化特征。例如悲伤时头部转向用变加速曲线，而非直接点对点运动。

3. 触摸模式识别的“去抖”与“防误触”是工程关键
   电容触摸传感器易受环境噪声干扰。工程实践中需采用软件防抖：连续检测2-3次一致才触发响应，并按检测时长区分“单击/双击/长按/快速连拍”等模式。

4. 表情与动作的“语义耦合”决定拟人化程度
   GIF表情与BLDC动作需语义耦合——开心时屏幕显示笑脸+点头摆尾；愤怒时显示怒脸+摇头。表情与动作割裂会使机器人看起来“精神分裂”。

5. 离线语音是保障隐私和低延迟的关键架构
   语音信号在本地DSP处理，不上传云端，延迟控制在100ms级别。离线语音模块需具备AEC（声学回声消除），防止自扬声器回声干扰唤醒。

公共全局宏与依赖库（三套代码通用）

// 硬件引脚定义
#include "ESP32Servo.h"
#include "asr.h"
#include <TFT_eSPI.h>
#include <Adafruit_NeoPixel.h>
#include <TouchSensor.h>

// 四路BLDC电调ESC引脚
#define ESC_M1 18
#define ESC_M2 19
#define ESC_M3 21
#define ESC_M4 22
#define ESC_MIN 1000
#define ESC_MID 1500
#define ESC_MAX 2000
Servo esc[4];
uint16_t motor_out[4] = {ESC_MID,ESC_MID,ESC_MID,ESC_MID};

// 语音ASR配置
#define ASR_RX 33
#define ASR_TX 32
uint8_t wake_flag = 0; // 唤醒标志位

// 电容触摸引脚（头部触摸感应）
#define TOUCH_PIN T0 // GPIO4

// 表情屏幕+氛围灯
TFT_eSPI tft = TFT_eSPI();
#define NEOPIXEL_PIN 27
#define PIXEL_NUM 8
Adafruit_NeoPixel strip(PIXEL_NUM, NEOPIXEL_PIN, NEO_GRB + NEO_KHZ800);

// 麦克纳姆轮矢量解算函数（三套工程共用）
void mecanum_move(int vx, int vy, int vz){
  motor_out[0] = constrain(ESC_MID + vy - vx + vz, ESC_MIN, ESC_MAX);
  motor_out[1] = constrain(ESC_MID + vy + vx - vz, ESC_MIN, ESC_MAX);
  motor_out[2] = constrain(ESC_MID + vy + vx + vz, ESC_MIN, ESC_MAX);
  motor_out[3] = constrain(ESC_MID + vy - vx - vz, ESC_MIN, ESC_MAX);
  for(uint8_t i=0;i<4;i++) esc[i].writeMicroseconds(motor_out[i]);
}
void car_stop(){
  mecanum_move(0,0,0);
}

4、单模态 —— 离线语音交互 BLDC 陪伴机器人（基础版）

仅依靠离线 ASR 语音唤醒 + 语音指令控制行走、灯光、情绪提示

// 语音指令ID定义
#define CMD_FORWARD 1
#define CMD_BACK 2
#define CMD_LEFT_SHIFT 3
#define CMD_RIGHT_SHIFT 4
#define CMD_STOP 5
#define CMD_HAPPY_LIGHT 6
#define CMD_SAD_LIGHT 7

void setup() {
  Serial.begin(115200);
  // BLDC电调初始化校准
  for(uint8_t i=0;i<4;i++) esc[i].attach(i==0?ESC_M1:i==1?ESC_M2:i==2?ESC_M3:ESC_M4, ESC_MIN, ESC_MAX);
  mecanum_move(0,0,0);
  delay(2000);

  // ASR语音初始化
  asr.asrInit(CONTINUOUS, CN_MODE, 10000);
  while(asr._asrState == 0) delay(100);
  // 注册语音拼音指令
  asr.addASRCommand(CMD_FORWARD, "qian jin");
  asr.addASRCommand(CMD_BACK, "hou tui");
  asr.addASRCommand(CMD_LEFT_SHIFT, "zuo yi");
  asr.addASRCommand(CMD_RIGHT_SHIFT, "you yi");
  asr.addASRCommand(CMD_STOP, "ting xia");
  asr.addASRCommand(CMD_HAPPY_LIGHT, "kai xin deng");
  asr.addASRCommand(CMD_SAD_LIGHT, "nan guo deng");

  // 氛围灯初始化
  strip.begin();
  strip.fill(strip.Color(0,0,0));
  strip.show();
}

void set_light(uint8_t r,uint8_t g,uint8_t b){
  strip.fill(strip.Color(r,g,b));
  strip.show();
}

void loop() {
  // 语音唤醒判断
  if(asr.isWakeUp()){
    wake_flag = 1;
    set_light(0,100,255); // 唤醒蓝色呼吸灯
  }else wake_flag = 0;

  // 唤醒后响应语音指令
  if(wake_flag == 1){
    if(asr.isDetectCmdID(CMD_FORWARD)){
      mecanum_move(0,300,0); // 前进
      set_light(0,255,0);
      delay(1200); car_stop(); set_light(0,100,255);
    }
    if(asr.isDetectCmdID(CMD_BACK)){
      mecanum_move(0,-300,0); // 后退
      set_light(255,120,0);
      delay(1200); car_stop(); set_light(0,100,255);
    }
    if(asr.isDetectCmdID(CMD_LEFT_SHIFT)){
      mecanum_move(-280,0,0); // 左横移
      set_light(100,0,255);
      delay(1000); car_stop(); set_light(0,100,255);
    }
    if(asr.isDetectCmdID(CMD_RIGHT_SHIFT)){
      mecanum_move(280,0,0); // 右横移
      set_light(255,255,0);
      delay(1000); car_stop(); set_light(0,100,255);
    }
    if(asr.isDetectCmdID(CMD_STOP)){
      car_stop(); set_light(0,100,255);
    }
    if(asr.isDetectCmdID(CMD_HAPPY_LIGHT)) set_light(0,255,0);
    if(asr.isDetectCmdID(CMD_SAD_LIGHT)) set_light(80,0,0);
  }
  delay(50);
}

5、双模态 —— 语音 + 电容触摸交互陪伴机器人（进阶版）

新增头部触摸感应，触摸触发安抚动作、撒娇灯光，语音负责行走控制，双输入互补交互

// 触摸阈值
uint16_t touch_val = 0;
const uint16_t TOUCH_THRESHOLD = 30;
uint8_t touch_trig_flag = 0;

void setup() {
  Serial.begin(115200);
  // BLDC、ASR、灯光初始化同案例1
  for(uint8_t i=0;i<4;i++) esc[i].attach(i==0?ESC_M1:i==1?ESC_M2:i==2?ESC_M3:ESC_M4, ESC_MIN, ESC_MAX);
  mecanum_move(0,0,0);
  delay(2000);
  asr.asrInit(CONTINUOUS, CN_MODE, 10000);
  while(asr._asrState == 0) delay(100);
  asr.addASRCommand(1, "qian jin");
  asr.addASRCommand(2, "hou tui");
  asr.addASRCommand(5, "ting xia");
  strip.begin();
  strip.fill(strip.Color(0,100,255));
  strip.show();
  pinMode(TOUCH_PIN, INPUT);
}

void touch_cal(){
  touch_val = touchRead(TOUCH_PIN);
  if(touch_val < TOUCH_THRESHOLD && touch_trig_flag == 0){
    touch_trig_flag = 1;
    // 触摸安抚动作：前后小幅晃动
    strip.fill(strip.Color(255,180,220));
    strip.show();
    mecanum_move(0,200,0); delay(400);
    mecanum_move(0,-200,0); delay(400);
    car_stop();
    strip.fill(strip.Color(0,100,255));
    strip.show();
    delay(1500); // 触摸冷却防抖
    touch_trig_flag = 0;
  }
}

void loop() {
  touch_cal(); // 持续检测头部触摸
  // 语音唤醒逻辑
  if(asr.isWakeUp()) wake_flag = 1;
  else wake_flag = 0;
  if(wake_flag == 1){
    if(asr.isDetectCmdID(1)){
      mecanum_move(0,300,0); delay(1200); car_stop();
    }
    if(asr.isDetectCmdID(2)){
      mecanum_move(0,-300,0); delay(1200); car_stop();
    }
    if(asr.isDetectCmdID(5)) car_stop();
  }
  delay(40);
}

6、三模态完整版 —— 语音 + 触摸 + 动态 LCD 表情全交互陪伴机器人

融合语音指令、头部触摸感应、TFT 动态表情切换，完整桌面陪伴逻辑：唤醒微笑、触摸害羞、指令对应情绪、难过生气表情联动灯光 + 底盘动作

// 表情枚举
enum FaceMode {FACE_NORMAL,FACE_HAPPY,FACE_SHY,FACE_SAD,FACE_ANGRY};
uint8_t face_state = FACE_NORMAL;

// 绘制静态表情工具函数
void draw_face(uint8_t mode){
  tft.fillScreen(TFT_WHITE);
  tft.setTextSize(3);
  switch(mode){
    case FACE_NORMAL:
      tft.drawString("●    ●",40,80);
      tft.drawString("  ———  ",40,140);
      break;
    case FACE_HAPPY:
      tft.drawString("●    ●",40,80);
      tft.drawString("  ⌒⌒⌒  ",40,140);
      strip.fill(strip.Color(0,255,0));
      break;
    case FACE_SHY:
      tft.drawString("●    ●",40,80);
      tft.drawString("  ︶︶︶  ",40,140);
      tft.fillRect(20,110,20,10,TFT_PINK);
      tft.fillRect(180,110,20,10,TFT_PINK);
      strip.fill(strip.Color(255,180,220));
      break;
    case FACE_SAD:
      tft.drawString("●    ●",40,80);
      tft.drawString("  ⌒⌒⌒  ",40,150);
      strip.fill(strip.Color(60,0,0));
      break;
    case FACE_ANGRY:
      tft.drawString("◕    ◕",40,80);
      tft.drawString("  ——  ",40,140);
      strip.fill(strip.Color(255,0,0));
      break;
  }
  strip.show();
}

void setup() {
  Serial.begin(115200);
  // BLDC电调初始化
  for(uint8_t i=0;i<4;i++) esc[i].attach(i==0?ESC_M1:i==1?ESC_M2:i==2?ESC_M3:ESC_M4, ESC_MIN, ESC_MAX);
  mecanum_move(0,0,0);
  delay(2000);
  // ASR语音
  asr.asrInit(CONTINUOUS, CN_MODE, 10000);
  while(asr._asrState == 0) delay(100);
  asr.addASRCommand(1, "qian jin");
  asr.addASRCommand(2, "hou tui");
  asr.addASRCommand(3, "kai xin");
  asr.addASRCommand(4, "nan guo");
  asr.addASRCommand(5, "sheng qi");
  asr.addASRCommand(6, "ting xia");
  // 触摸、灯光、屏幕初始化
  pinMode(TOUCH_PIN, INPUT);
  strip.begin();
  tft.init();
  tft.setRotation(1);
  draw_face(FACE_NORMAL);
  strip.fill(strip.Color(0,100,255));
  strip.show();
}

void touch_detect(){
  uint16_t t_val = touchRead(TOUCH_PIN);
  if(t_val < 30 && touch_trig_flag == 0){
    touch_trig_flag = 1;
    // 触摸触发害羞表情+小幅左右横移撒娇
    face_state = FACE_SHY;
    draw_face(face_state);
    mecanum_move(200,0,0); delay(350);
    mecanum_move(-200,0,0); delay(350);
    car_stop();
    delay(2000);
    face_state = FACE_NORMAL;
    draw_face(face_state);
    strip.fill(strip.Color(0,100,255));
    strip.show();
    touch_trig_flag = 0;
  }
}

void loop() {
  touch_detect();
  // 语音唤醒
  if(asr.isWakeUp()){
    wake_flag = 1;
    face_state = FACE_HAPPY;
    draw_face(face_state);
  }else wake_flag = 0;

  if(wake_flag == 1){
    // 行走指令
    if(asr.isDetectCmdID(1)){
      mecanum_move(0,300,0); delay(1200); car_stop();
      face_state = FACE_NORMAL; draw_face(face_state);
    }
    if(asr.isDetectCmdID(2)){
      mecanum_move(0,-300,0); delay(1200); car_stop();
      face_state = FACE_NORMAL; draw_face(face_state);
    }
    if(asr.isDetectCmdID(6)) car_stop();
    // 情绪语音指令，切换表情灯光
    if(asr.isDetectCmdID(3)){ face_state = FACE_HAPPY; draw_face(face_state); }
    if(asr.isDetectCmdID(4)){ face_state = FACE_SAD; draw_face(face_state); }
    if(asr.isDetectCmdID(5)){ face_state = FACE_ANGRY; draw_face(face_state); }
  }
  delay(40);
}

要点解读（多模态交互 + BLDC 陪伴机器人）

要点 1：多模态输入分层优先级调度，解决语音 / 触摸信号冲突

1. 交互优先级设计：触摸触摸为最高优先级（人体近距离安抚触发），语音唤醒次之，普通行走指令最低；触摸触发后会阻塞语音动作 2 秒防抖，避免同时触发动作导致底盘抖动。
2. 标志位隔离机制：使用wake_flag语音唤醒锁、touch_trig_flag触摸防抖锁，两种输入信号独立判断，不会互相抢占执行逻辑。
3. 执行冷却延时：触摸触发后设置 1.5~2s 冷却窗口，避免人手长按触摸引脚连续反复触发撒娇动作；语音单次指令执行完成自动切回正常表情，防止多指令堆叠卡死 BLDC 电机。
4. 工程落地价值：桌面机器人近距离抚摸、远距离语音操控场景天然分层，符合人类陪伴交互习惯，不会出现 “一边摸一边喊指令” 动作错乱。

要点 2：BLDC 无刷底盘与多模态情绪联动逻辑设计

1. 动作情绪绑定：每种交互输入对应专属底盘运动方案：
   • 语音唤醒：静止微笑、蓝色氛围灯待机；
   • 触摸头部：小幅左右横移撒娇（低速低功率 BLDC 输出，不冲撞桌面）；
   • 开心指令：缓慢前进、绿色灯光笑脸；
   • 生气指令：小幅原地自转、红色愤怒表情；
2. 功率安全控制：陪伴机器人桌面运行，所有运动矢量值限制在 ±300 以内，ESC 输出不会满速，防止冲出桌面跌落损坏 BLDC 电机；动作执行固定延时后自动刹车car_stop()，杜绝长时间高速空载。
3. 同步联动机制：表情屏幕、WS2812 灯光、四路 ESC 电机同步切换状态，视觉 + 动力反馈统一，交互氛围感更强。

要点 3：离线 ASR 语音交互适配桌面低噪音环境，唤醒权限安全锁

1. 离线语音无网络依赖，桌面室内场景无需 WiFi，灵敏度参数10000适配客厅、书房日常环境杂音，降低误唤醒；
2. 唤醒锁核心安全机制：所有行走、情绪指令仅在wake_flag=1唤醒状态下生效，无人唤醒时无论多大噪音、误识别都不会驱动 BLDC 底盘，避免机器人自行乱跑跌落桌面；
3. 指令轻量化设计：仅注册短拼音口语化口令（开心、难过、停下），贴合陪伴类机器人口语交互，避免长句识别失败；
4. 硬件串口分离：ASR 模块独立 TX/RX 串口，不占用打印调试串口，调试电机运动同时不干扰语音收音解析。

要点 4：电容触摸低功耗防抖 + 人脸表情视觉交互闭环

1. 电容触摸touchRead阈值防抖：ESP32 内置触摸传感器，通过数值阈值区分 “轻触” 和环境静电干扰，搭配执行冷却延时双重防抖，避免灰尘、潮湿误触发；
2. 动态表情形成交互闭环：
   • 无交互：平淡中性脸；
   • 语音唤醒：微笑开心脸；
   • 头部触摸：害羞腮红脸；
   • 情绪语音指令：难过 / 生气专属五官；
3. TFT 屏幕轻量化绘图：采用基础直线、矩形绘制表情，不存储大尺寸图片，节省 ESP32 Flash 内存，预留空间给 BLDC 控制、语音库资源；
4. 灯光联动表情：每种人脸匹配对应 RGB 氛围灯颜色，视觉双通道情绪反馈，提升桌面陪伴氛围感。

要点 5：三层代码分层架构，可拓展、易维护（教学 / 成品通用）

1. 底层公共层：统一封装麦克纳姆mecum_move、电机停止car_stop、灯光、绘图工具函数，三套案例全部复用，无需重复编写电机驱动；
2. 交互输入层：独立拆分语音检测、触摸检测函数，新增红外、按键、手势传感器仅需新增检测函数，不改动底盘运动逻辑；
3. 交互响应层：表情、灯光、BLDC 行走动作解耦，可单独修改某一种交互对应的反馈效果（例如修改触摸动作从横移改为前后晃动，仅改动触摸分支内代码）；
4. 性能优化：主循环delay(40)低阻塞调度，语音、触摸、屏幕刷新分时轮询，不会出现单模态独占 CPU 导致 BLDC 四路 ESC 同步输出卡顿、底盘跑偏；
5. 拓展兼容性：可无缝对接 OTA 远程升级、TTS 语音播报，在现有多模态框架上增加语音朗读、远程情绪下发功能，升级为完整商用陪伴机器人。

请注意：以上案例仅作为思路拓展的参考示例，不保证完全正确、适配所有场景或可直接编译运行。由于硬件平台、实际使用场景、Arduino 版本的差异，均可能影响代码的适配性与使用方法的选择。在实际编程开发时，请务必根据自身硬件配置、使用场景及具体功能需求进行针对性调整，并通过多次实测验证效果；同时需确保硬件接线正确，充分了解所用传感器、执行器等设备的技术规范与核心特性。对于涉及硬件操作的代码，使用前务必核对引脚定义、电平参数等关键信息的准确性与安全性，避免因参数错误导致硬件损坏或运行异常。