余弦相似度

在spark中，有2种方式实现向量的余弦相似度，废话不说，直接上代码

1. 根据公式计算

在这里插入图片描述

val v1 = Array(
      1.0, 2.0, 3.0
    )

val v2 = Array(
  2.0, 2.0, 3.0
)
    
println(
v1.zip(v2).map(i => i._1 * i._2).sum 
/ 
(Math.sqrt(v1.map(Math.pow(_, 2)).sum) * Math.sqrt(v2.map(Math.pow(_, 2)).sum))
)

2. 根据余弦距离

cosineDistance 方法有时候idea自动导入不了，所以需要手动引入包 ：breeze.linalg.functions.cosineDistance

println(1 - cosineDistance(DenseVector(v1), DenseVector(v2)))
# 数据分析 # 数据结构 # scala
Logo
DAMO开发者矩阵

DAMO开发者矩阵，由阿里巴巴达摩院和中国互联网协会联合发起，致力于探讨最前沿的技术趋势与应用成果，搭建高质量的交流与分享平台，推动技术创新与产业应用链接，围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐

Java新手5分钟接AI：Spring AI Alibaba实战

5分钟跑通了，然后呢？第一阶段：熟练使用ChatClient掌握prompt()、call()、stream()的用法学会设置系统提示词控制AI行为尝试不同的temperature参数，观察输出差异第二阶段：接入业务场景客服机器人：结合知识库回答用户问题文档助手：总结、翻译、生成报告代码助手：代码审查、生成注释、重构建议第三阶段：进阶能力Function Calling：让AI调用你的Java方法

avatar DAMO开发者矩阵

OpenPI / π₀ 系列算法详解、创新点及 Jetson Orin NX 16GB 边缘端部署

OpenPI/π₀系列算法技术报告摘要 OpenPI是面向机器人控制的开源基础模型工具链，包含π₀、π₀-FAST和π₀.₅三个核心模型。该系列采用Vision-Language-Action范式，通过多模态输入（视觉/语言/本体状态）直接生成连续动作序列。关键技术突破包括：1）Flow Matching连续动作生成机制；2）Action Expert模块实现控制参数隔离；3）Action Chu

avatar DAMO开发者矩阵
cover

具身智能中的传感器技术41——事件相机1

avatar DAMO开发者矩阵