能力

方案

理由

情绪感知

Qwen3-VL + 关键词兜底

LLM分析深层情绪，关键词做即时兜底

共情回复

Qwen3-VL 四层共情prompt

表面→情绪→需求→价值 逐层深入

具身表达

魔珐星云XmovAvatar SDK

参数流+端侧渲染，≤500ms响应

正念引导

内置呼吸/身体扫描练习

数字人带领，配合呼吸动画

JavaScript// interactiveLoop.js — 核心交互循环
// 用户输入 → 情绪感知 → 数字人姿态切换 → LLM生成共情回复 → 流式驱动数字人说话

async function handleUserInput(text, sdk, llmClient) {
// 1. 即时情绪感知（关键词层，零延迟）
const emotion = quickDetect(text);

// 2. 根据情绪切换数字人姿态（用户一说话，数字人立刻做出反应）
await sdk.listen(); // 先切换到"倾听"姿态
await respondToEmotion(emotion); // 再根据情绪调整：焦虑→前倾关注，悲伤→温柔注视

// 3. 调用LLM生成共情回复（流式）
await sdk.think(); // 数字人做出"思考"表情
const stream = await llmClient.chat({
model: 'Qwen/Qwen3-VL-235B-A22B-Instruct',
messages: [
{ role: 'system', content: EMPATHY_SYSTEM_PROMPT },
...chatHistory,
{ role: 'user', content: text }
],
stream: true
});

// 4. LLM边生成，数字人边"说"——用户不需要等完整回复
let buffer = '';
let isFirst = true;
for await (const chunk of stream) {
const content = chunk.choices[0]?.delta?.content || '';
buffer += content;

if (buffer.length >= 20) {
await sdk.speak(buffer, isFirst, false);
isFirst = false;
buffer = '';
}
}
// 发送剩余文本，标记结束
if (buffer) await sdk.speak(buffer, false, true);
}

JavaScript// emotionAnalyzer.js — 双层情绪感知
const EMOTION_KEYWORDS = {
anxiety: ['焦虑', '紧张', '不安', '担心'],
sadness: ['难过', '伤心', '失落', '想哭'],
anger: ['生气', '愤怒', '烦死', '受不了'],
happiness: ['开心', '高兴', '太好了', '幸福'],
calm: ['平静', '放松', '安心', '踏实'],
loneliness: ['孤独', '寂寞', '没人理', '好孤单'],
confusion: ['迷茫', '纠结', '不知道', '困惑'],
fatigue: ['好累', '疲惫', '撑不住', '精疲力竭']
};

// 第一层：关键词即时识别（零延迟）
function quickDetect(text) {
for (const [emotion, keywords] of Object.entries(EMOTION_KEYWORDS)) {
if (keywords.some(kw => text.includes(kw))) {
return {
primary: emotion,
intensity: 0.6,
source: 'keyword'
};
}
}
return { primary: 'calm', intensity: 0.3, source: 'keyword' };
}

// 第二层：LLM深度分析（异步，更精确）
async function deepAnalyze(text, llmClient) {
const response = await llmClient.chat({
model: 'Qwen/Qwen3-VL-235B-A22B-Instruct',
messages: [{
role: 'system',
content: `分析用户文本的情绪状态，返回JSON：
{
"primary_emotion": "anxiety|sadness|anger|happiness|calm|loneliness|confusion|fatigue",
"intensity": 0.0-1.0,
"nuances": ["次要情绪1", "次要情绪2"],
"urgency": "low|medium|high",
"needs": ["用户深层心理需求"],
"suggested_style": "warm_comfort|exploratory_guidance|positive_encouragement|quiet_companionship"
}`
}, {
role: 'user', content: text
}],
response_format: { type: 'json_object' }
});

return JSON.parse(response.choices[0].message.content);
}

JavaScript// emotionAvatarDriver.js — 情绪驱动的数字人行为
const EMOTION_BEHAVIORS = {
anxiety: {
posture: 'listen', // 微微前倾，表示关注
speechRate: 'slow', // 放慢语速
ssmlActions: ['Calm'], // 安抚性动作
greeting: '我能感受到你现在有些紧张，我们先深呼吸好吗？'
},
sadness: {
posture: 'empathize', // 身体前倾，温柔注视
speechRate: 'slow',
ssmlActions: ['Comfort'], // 安慰性动作
greeting: '你看起来不太开心，我在这里陪你。'
},
anger: {
posture: 'listen', // 专注倾听
speechRate: 'normal',
ssmlActions: ['Nod'], // 理解性点头
greeting: '我理解你的感受，这件事确实让人不舒服。'
},
happiness: {
posture: 'interactiveidle', // 放松状态
speechRate: 'normal',
ssmlActions: ['Celebrate'], // 开心的动作
greeting: '看到你开心我也很高兴！'
},
loneliness: {
posture: 'empathize',
speechRate: 'slow',
ssmlActions: ['Comfort'],
greeting: '你并不是一个人，我一直在这里。'
},
fatigue: {
posture: 'empathize',
speechRate: 'slow',
ssmlActions: ['Reassure'],
greeting: '辛苦了，要不要试试放松呼吸？'
}
};

class EmotionAvatarDriver {
constructor(sdk) {
this.sdk = sdk;
}

// 根据情绪驱动数字人行为
async respondToEmotion(emotion, intensity) {
const behavior = EMOTION_BEHAVIORS[emotion] || EMOTION_BEHAVIORS.calm;

// 1. 切换姿态
await this.sdk[behavior.posture]();

// 2. 高强度情绪时先给一句即时回应
if (intensity > 0.5 && behavior.greeting) {
await this.sdk.speak(behavior.greeting, true, true);
}
}

// 带情绪感知的流式朗读
async speakWithEmotion(text, emotion) {
const behavior = EMOTION_BEHAVIORS[emotion] || EMOTION_BEHAVIORS.calm;

// 按标点分块，控制节奏
const chunks = text.match(/[^。！？；…]+[。！？；…]?/g) || [text];
let isFirst = true;

for (let i = 0; i < chunks.length; i++) {
const chunk = chunks[i].trim();
if (!chunk) continue;
const isEnd = i === chunks.length - 1;
await this.sdk.speak(chunk, isFirst, isEnd);
isFirst = false;

// 悲伤/焦虑时在句间增加短暂停顿
if (['sadness', 'anxiety', 'fatigue'].includes(emotion)) {
await new Promise(r => setTimeout(r, 200));
}
}
}
}

HTML<!-- 简化版：呼吸引导组件核心逻辑 -->
<script>
// 4-7-8 呼吸法：吸气4秒 → 屏息7秒 → 呼气8秒
async function startBreathingGuide(sdk) {
// 数字人先说引导语
await sdk.speak(
'好的，我们来做一个简单的呼吸练习，帮助你放松下来。跟着我的节奏，慢慢来。',
true, true
);

// 等语音播完
await waitForVoiceEnd(sdk);

for (let cycle = 1; cycle <= 4; cycle++) {
// 吸气阶段（4秒）
await sdk.speak('吸气……', true, false);
await delay(4000);

// 屏息阶段（7秒）
await sdk.speak('屏住……', false, false);
await delay(7000);

// 呼气阶段（8秒）
await sdk.speak('慢慢呼气……', false, cycle === 4);
await delay(8000);
}

// 完成后的安抚
await delay(500);
await sdk.interactiveidle();
await sdk.speak(
'很好，你完成了呼吸练习。现在感觉怎么样？身体是不是放松了一些？',
true, true
);
}

function delay(ms) {
return new Promise(r => setTimeout(r, ms));
}

function waitForVoiceEnd(sdk) {
return new Promise(resolve => {
const original = sdk.onVoiceStateChange;
sdk.onVoiceStateChange = (status) => {
if (original) original(status);
if (status === 'end') {
sdk.onVoiceStateChange = original;
resolve();
}
};
});
}
</script>

"它说'我理解你的感受'的时候，我竟然信了。因为它当时的表情和语气让我觉得它是真的在认真听。"