底妆卡粉到怀疑人生?具身交互智能美妆顾问输出定制护肤方案

买粉底很容易踩坑:专柜BA推荐未必适配肤质,网上美妆笔记五花八门,别人的好用方案放到自己脸上就卡粉、浮粉、假面。

如果有数字美妆顾问,你说出肤质、痛点和预算,直接给到底妆搭配、妆前护肤、上妆技巧,这就是具身交互在美妆线下门店的落地思路。

场景痛点

美妆产品海量,肤质、诉求差异大。 网上信息碎片化,普通问答机器人只能输出通用话术;专柜导购忙时无暇接待,推销导向重,用户体验不稳定。 具身数字人,把零散美妆知识变成面对面语音对话,降低咨询心理压力。

技术方案

大模型选用通义千问,完成肤质匹配、产品推荐、护肤美妆知识答疑。 Agent提取用户肤质、诉求关键词,对接美妆知识库做方案匹配。 交互层使用星云SDK,部署门店大屏终端。

// 美妆顾问数字人 - 星云SDK初始化
const sdk = new XmovAvatar({
  containerId: "#beauty-consultant",
  appId: BEAUTY_APP_ID,
  appSecret: BEAUTY_APP_SECRET,
  gatewayServer: "https://nebula-agent.xingyun3d.com/user/v1/ttsa/session",
  onMessage: (msg) => {
    if (msg.type === "voice_state_change") {
      const state = msg.state || msg;
      if (state === "idle") {
        // 美妆顾问说完一段话,等待顾客回应
        enableCustomerInput();
      }
    }
  },
  proxyWidget: {
    // 美妆产品详情卡片展示
    "widget_pic": (data) => {
      if (data.image) {
        const card = document.getElementById("product-card");
        card.src = data.image;
        card.style.display = "block";
      }
    },
    "subtitle_on": (data) => {
      const sub = document.getElementById("beauty-subtitle");
      sub.innerText = data.text;
      sub.style.display = "block";
      return false;
    },
    "subtitle_off": () => {
      document.getElementById("beauty-subtitle").style.display = "none";
      return false;
    }
  }
});

await sdk.init({
  onDownloadProgress: (p) => {
    if (p < 100) updateProgress(p);
  }
});
// 根据用户肤质和需求匹配美妆产品
async function recommendProduct(skinType, need) {
  // 提取肤质和需求关键词
  const keywords = extractSkinKeywords(skinType, need);
  // 从知识库中匹配产品
  const matched = await matchProducts(keywords);
  // 大模型生成个性化推荐话术
  const script = await generateRecommendation(matched, skinType, need);

  // 展示产品卡片
  showProductCard(matched.primaryImage);

  // 数字人播报推荐
  const sentences = splitSentences(script);
  sentences.forEach((s, i) => {
    sdk.speak(s, i === 0, i === sentences.length - 1);
  });
}

// 顾客随时打断提问
function onCustomerInterrupt(newConcern) {
  sdk.interactiveidle();
  pendingConcern = newConcern;
}

门店试点效果

  1. 选品效率提升,口述肤质诉求即可快速拿到产品及注意事项,不用反复翻看包装说明。
  2. 基础护肤咨询频次高,用户不怕问基础小白问题,获取护肤步骤、成分相关解答。
  3. 支持对话中途打断,随时追加预算、敏感肌、孕期等约束条件,对话接近真人交流。
  4. 口红色号咨询属于高频使用,结合肤色、使用场景给出具体建议,拒绝笼统话术。

小结

货架、笔记都是静态信息,而具身交互可以基于对话做到千人千面。 星云SDK负责数字人交互渲染,约500ms延迟满足门店对话体验。 门店大屏场景下,数字人顾问兼顾咨询服务,同时给消费者更强的信任感。

如果你对美妆+AI的方向感兴趣,可以去星云官网看看SDK和文档,自己搭一个Demo试试。

网站地址:查看网址

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐