【北邮鲁鹏老师计算机视觉课程笔记】09 Segmentation 分割

量子-Alex

1542人浏览 · 2024-02-14 20:14:22

量子-Alex · 2024-02-14 20:14:22 发布

1 过分割与欠分割

找一个合适的分割方法
过分割：分割得太细
在这里插入图片描述

自底向上的方法
无监督的
在这里插入图片描述
自底向上：基于像素的
自顶向下：从语义的角度

2 人是如何感知世界的

在这里插入图片描述

人会感觉下面的线比上面的线长
在这里插入图片描述

人的感知：先感知部件，然后理解组合后的整体语义

3 分割思路

在这里插入图片描述
临近的、颜色相似的、形状相似的、同向的、平行的、对称的、连续的、封闭的

在这里插入图片描述

电梯上的楼层按键

4 把分割建模成聚类任务

在这里插入图片描述
将像素点投影到RGB三维空间

k-means聚类

在这里插入图片描述
中图：基于灰度的聚类
右图：基于RGB图的聚类

缺陷：不能区分实例

5 语义分割、实例分割

实例分割：不仅要知道是辣椒类、而且要知道是哪个辣椒上的

实例的最大差异在空间上

6 k-means算法

在这里插入图片描述

在特征空间中寻找密集的中心

在这里插入图片描述

统计区域内所有点的重心

把蓝色框移动到重心上，均值漂移

一致的时候漂移结束

在这里插入图片描述

6 mean-shift clustering

在这里插入图片描述

在这里插入图片描述

确定有多少个密度中心
不需要假定球形聚类
维度灾难、高维空间计算困难

7 基于图的分割

在这里插入图片描述

分割的目标就是删除连接的边
删除相似度小的边
删除的边的相似度之和最小

定义相似性

在这里插入图片描述

8 归一化的图分割

在这里插入图片描述

$w (A, B)$ 是 $A 、 B$ 集合的全部联系权重，最小分割是希望 $w (A, B)$ ，但是容易要么分割A，要么分割B
避免分割得过小，不鼓励只有一条边的情况
$w(A,B)w(A,V)\frac{w(A,B)}{w(A,V)}$
$w (A, V)$ 是A与其他全部顶点的连接，A的像素越多，这个值就越大，分数就越小。如果只把A或者B切割成一个像素，那么 $w (A, V)$ 或者 $w (A, B)$ 就会很小，分数就变大，这不是预期的

在这里插入图片描述

W是相似度矩阵，是一个对称矩阵
D是一个对角阵，第i个位置表示W第i列的和

在这里插入图片描述

DAMO开发者矩阵

DAMO开发者矩阵，由阿里巴巴达摩院和中国互联网协会联合发起，致力于探讨最前沿的技术趋势与应用成果，搭建高质量的交流与分享平台，推动技术创新与产业应用链接，围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐

人形机器人：又一个在中国长成参天大树的东西

中国人形机器人很可能像中国电车一样爆发性起飞：欧美专注高规格、高成本的高端，中国更注重低成本、重落地效益的中端应用，且有广泛深厚的土壤。即便在高度自动化的化工厂、炼钢厂，也需要按人类标准设计和维护的巡检通道、楼梯、净空与照明，带轮的有腿机器人或机器狗刚好适用。全球南方或许仍需从 "低端制造业" 起步，毕竟维修、编程人员的工薪仍低于发达国家 —— 这比不上牛腿上的肉，但还是鸡腿上的肉，不是蚊子腿上的

DAMO开发者矩阵

2026深度解读：Work Agent长程任务的中间校验与迭代交付机制

AI的能力演进，正在从单次问答交互转向具备持续执行能力的自主任务处理。早期大模型产品以单轮问答为核心，用户提出问题，模型直接返回一段文本结果，交互就此终止。随后多轮对话形态出现，用户可以持续补充信息，在同一个会话内调整需求，但任务执行逻辑依然由人主导，每一步操作都需要人工发出指令。工具调用能力落地之后，AI能够主动调用检索、计算等外部能力，不再局限于文本生成。Work Agent的出现，则把工具调

DAMO开发者矩阵

Work Agent深度解读：AI长程任务如何重构自动化工作范式

AI技术的落地，正在从单次问答交互，转向持续自主的任务执行。早期大模型只能完成单轮问答，用户提出问题，模型给出对应回答，对话边界停留在单次信息输出。随着能力迭代，多轮对话让AI能够承接上下文，在一次会话中连续完成多轮沟通；工具调用能力进一步拓展模型边界，让AI可以调动外部工具获取信息、执行简单操作；而Work Agent代表的智能体范式，则把工具、规划、记忆、校验整合在一起，形成完整的自主任务链。