从一杯手冲开始:具身交互智能咖啡师,给出你的专属风味

精品咖啡店豆子繁多,菜单看不懂,店员忙碌,别人的口味推荐不一定适合自己。

具身交互数字人咖啡师,通过语音对话获取你的口味,直接推荐咖啡豆,同时给出手冲参数,解决选豆难的问题。

场景痛点

咖啡知识繁杂,产地、烘焙、冲煮参数维度多。网上信息零散,消费者很难快速找到适配自己的豆子。 纯文字咨询缺少临场感,线下店员又经常无暇接待。数字人可以模拟面对面沟通,直接对话获取建议。

技术方案

大模型:通义千问,负责咖啡豆推荐与咖啡知识问答。 Agent:提取用户口味关键词,匹配咖啡豆知识库生成方案。 交互层:星云SDK,部署门店大屏。

// 精品咖啡数字人 - 星云SDK初始化
const sdk = new XmovAvatar({
  containerId: "#coffee-barista",
  appId: COFFEE_APP_ID,
  appSecret: COFFEE_APP_SECRET,
  gatewayServer: "https://nebula-agent.xingyun3d.com/user/v1/ttsa/session",
  onMessage: (msg) => {
    if (msg.type === "voice_state_change") {
      const state = msg.state || msg;
      if (state === "idle") {
        // 咖啡师说完一段话,等待顾客回应
        enableCustomerInput();
      }
    }
  },
  proxyWidget: {
    // 咖啡豆详情卡片展示
    "widget_pic": (data) => {
      if (data.image) {
        const card = document.getElementById("bean-card");
        card.src = data.image;
        card.style.display = "block";
      }
    },
    "subtitle_on": (data) => {
      const sub = document.getElementById("coffee-subtitle");
      sub.innerText = data.text;
      sub.style.display = "block";
      return false;
    },
    "subtitle_off": () => {
      document.getElementById("coffee-subtitle").style.display = "none";
      return false;
    }
  }
});

await sdk.init({
  onDownloadProgress: (p) => {
    if (p < 100) updateProgress(p);
  }
});
// 根据用户口味偏好匹配咖啡豆
async function recommendBean(preference) {
  // 提取风味关键词
  const keywords = extractFlavorKeywords(preference);
  // 从知识库中匹配
  const matched = await matchBeans(keywords);
  // 大模型生成推荐话术
  const script = await generateRecommendation(matched, preference);

  // 展示咖啡豆卡片
  showBeanCard(matched.primaryImage);

  // 数字人播报推荐
  const sentences = splitSentences(script);
  sentences.forEach((s, i) => {
    sdk.speak(s, i === 0, i === sentences.length - 1);
  });
}

// 顾客随时打断提问、调整口味
function onCustomerInterrupt(newPreference) {
  sdk.interactiveidle();
  pendingPreference = newPreference;
}

试点效果

  1. 口述口味即可快速得到豆子推荐,减少顾客选择纠结。
  2. 居家手冲教学使用率高,输出水温、粉水比等实操参数。
  3. 支持中途打断,追加预算、饮用场景等条件,对话接近真人。

小结

传统菜单是静态的,具身交互依托对话做到动态个性化推荐。星云SDK负责数字人交互渲染,500ms延迟满足门店对话体验。
查看官方网站:全球领先的具身智能3D数字人开放平台 - 魔珐星云

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐