文档标题：基于多传感器的分拣机器人感知系统设计与调试

文档介绍：

第一章 绪论

1.1 研究背景与意义

1.1.1 研究背景

随着工业4.0战略不断推进以及智能制造飞速发展，自动化生产成了现代制造业的主要特点。在诸多自动化环节当中，物料分拣处在连接生产、仓储、物流的枢纽位置上，它的效率和精确度关乎到整个生产系统运作的好坏。传统的分拣作业全部依靠人工操作，劳动强度大、效率低、易出错，不能满足现代工业对高效率、精准化、连续化作业的需求。因此分拣机器人成为自动化分拣的最主要设备，近几年来受到了越来越多的关注和快速发展。

分拣机器人的主要能力就是感知系统，即利用传感器采集环境信息，辨别物料特性，判定物料的位置和姿态，进而给后面的抓取、分拣动作赋予决策依据。早期的分拣机器人大多只用一个传感器来感知，比如只有视觉传感器做图像识别，或者只有接近传感器做位置检测。但是实际的工业环境中物料种类繁多、形态各异，工作环境千差万别，单个传感器很难适应各种复杂的情况。

从具体的传感器上来说，视觉传感器对于光照条件比较敏感，在光照不足或者光照变化很大的时候，图像质量会变差，识别的准确性也会受到影响；对于透明物料，视觉传感器很难得到清楚的边缘信息；对于反光物料，镜面反射会造成图像过曝或者伪影。激光传感器对物料表面的特性很敏感，对于透明的物料，激光穿透或者折射都会引起测量的误差；对于反光的物料，激光会被镜面反射，偏离接收器，造成数据的丢失。力觉传感器只能在接触之后才会有信息，不能做远距离检测。接近传感器检测范围小，对物料材质敏感。因此单一传感器面对复杂物料和复杂环境的时候就会出现感知盲区以及局限性，不能满足现代分拣作业对于高精度、高鲁棒性的一种需求。因此采用多传感器融合技术，综合各种传感器的优点来弥补单一传感器的不足，成为提高分拣机器人感知能力的有效方法。

1.1.2 研究意义

本文主要对基于多传感器的分拣机器人感知系统进行设计和调试，有重要的理论意义和实践价值。从理论上来说，多传感器融合是信号处理、模式识别、人工智能等诸多学科领域相结合的产物，在机器人感知方面有着十分具体的应用。经过本次研究，可以进一步加深对多种数据源异构融合方法的认识，找到各个融合层次背后的内在联系，完善和充实多传感器融合的理论。同时，针对透明、反光、异形、软包等特殊物料的感知问题，研究相应的融合方法，对扩展多传感器融合技术的应用领域有理论上的指导意义。

从工程应用角度出发，本课题研究的成果可以直接指导分拣机器人感知系统的设计和研制。借助仿真平台的搭建与检验，可给实际系统的设计及参数设置给予技术上的支撑以及参照依据。所提出的传感器选型方案、标定方法、融合算法等可以用于教学实验平台、小型自动化分拣设备，为实验室样机的开发、中小企业的自动化改造提供支持。除此之外，本课题研究出来的经验可以应用到移动机器人导航、机械臂抓取等其他机器人的感知中，有广阔的应用前景。就教学意义而言，本课题紧密联系传感器技术、机器人控制、数据采集处理、系统集成调试等专业知识，以完成系统方案设计、硬件选择、程序编写、联合调试、性能测试等一系列工作，可有效地提高学生工程实践能力、问题解决能力，促进多传感器融合技术在本科教学中普及。

1.2 国内外研究现状

1.2.1 传感器技术发展现状

传感器是机器人感知系统的关键部分，传感器的好坏直接影响到感知的质量。近些年来，传感器技术有朝着高精度、智能、集成化发展趋向。传统的2D视觉传感器采用平面图像来完成识别工作，技术比较成熟，成本较低，在简单的场合中得到了广泛的使用。伴随着技术的发展，3D视觉传感器渐渐成为主流，可以得到物体的深度信息，从而达到更加精确的三维定位以及姿态估计。目前常用的结构光、双目立体视觉和飞行时间技术也都在被3D视觉传感器使用。国外的工业视觉企业处于行业领先的地位，国内企业海康机器人、华睿科技等也正在快速的发展。

激光传感器具有测量精度高、反应快、抗干扰能力强等特点，在机器人导航、避障、定位等各个领域得到了广泛的应用。激光雷达属于激光传感器的一种，可以得到环境的二维或者三维点云数据。在分拣机器人中，激光传感器主要是用作距离测量和物体检测。国外的激光传感器企业处于技术领先地位，国内企业思岚科技、速腾聚创等也正在努力发展。力觉传感器可以同时测量三维力和三维力矩，给机器人提供全方位的力反馈信息。国外企业如ATI、JR3、Kistler等力觉传感器技术已经非常成熟，国内企业宇立仪器、坤维科技等也正在迅速发展。接近传感器常见的有电感式、电容式、光电式、超声波式等，在分拣机器人上用得比较多的有近距离检测和触发信号输出的接近传感器。

1.2.2 多传感器融合技术研究现状

多传感器融合技术就是把多个传感器所采集到的数据结合起来一起分析，从而得到比单个传感器更好的信息。根据融合层次的不同，分为数据级融合、特征级融合和决策级融合。数据级融合指的是在原始数据层完成融合，直接对传感器输出的原始数据进行处理，常用的有加权平均法、卡尔曼滤波、粒子滤波等，可以充分发挥原始数据信息的作用，但是对数据一致性、同步性要求较高。特征级融合是指在特征提取之后进行的融合，即从各个传感器的数据中提取出特征，再将这些特征进行融合，常用的有特征拼接、特征选择、特征变换等，可以降低数据维度，提高融合速度。决策级融合是在决策层进行的融合，各个传感器先各自做出决策，再将各传感器决策结果相加得到最终的决策结果，常用的融合算法有投票法、贝叶斯推理、D-S证据理论、模糊推理等，对于传感器的异构性比较有适应性。

近几年来，由于深度学习技术的不断发展，以神经网络为主的多传感器融合方法也受到了人们的关注。卷积神经网络、循环神经网络、Transformer等深度学习模型被广泛用于多模态数据融合，取得很好的效果。但是深度学习的方法在训练时需要大量的标注数据，所以对于一些场景来说有局限性。分拣机器人领域，多传感器融合技术的研究方向有视觉和触觉融合、视觉和力觉融合、视觉和激光融合等，重点是解决复杂工况下检测准确性和鲁棒性的问题。

1.2.3 分拣机器人应用现状

分拣机器人在工业和物流中已经得到广泛应用，主要应用于电商物流与快递分拨、制造业物料分拣、仓储物流等各个领域。对于电商物流及快递分拨来说，在此基础上利用自动化分拣系统能够实现包裹快速的识别、分类以及转运等工作，从而大幅度提高分拣的效率，削减人力消耗，并减少出现各种人为操作失误的可能性。国内的企业京东、菜鸟、顺丰等已经大范围使用了分拣机器人，国外的Amazon、FedEx也一直在使用着它们。在制造业物料分拣方面，汽车制造、3C电子、食品医药、家电装配等行业中，分拣机器人被大量用在零部件上料、成品分拣和物料转运上。在智能仓储系统里，分拣机器人同AGV、货架系统配合，达到自动存取、分拣的目的。

虽然分拣机器人技术有了很大进步，但是还存在着一些问题亟待解决。复杂物料检测困难为第一位，对于透明、反光、软包、异形等特殊物料，单个传感器很难做到准确检测，需要使用多种传感器配合使用的融合技术。环境适应性差，光照变化、遮挡、背景杂乱等各种环境因素都会造成感知系统不稳定或者不可靠。系统集成复杂，多传感器的标定、同步、融合算法比较复杂，部署和维护费用也比较高。智能化程度还有待提高，目前分拣机器人大多为规则驱动，没有自主学习、自适应的能力，很难应对新的物料、新的场景。

1.3 研究内容与目标

1.3.1 研究内容

本文主要研究基于多传感器的分拣机器人感知系统，主要内容包括系统总体设计、传感器仿真模块设计、物料场景生成、多传感器数据融合算法设计、传感器标定和时间同步、性能评估与可视化以及仿真平台搭建与验证等七个方面。

系统总体设计主要是分析分拣机器人感知系统功能需求，设计系统总体结构、确定传感器选择方案及系统工作过程。在传感器仿真的模块中，对视觉、激光、力觉、接近等传感器进行仿真建模，模拟传感器的数据采集过程和特性，即噪声模型、精度模型、响应特性等。在物料场景生成上设计出物料场景生成模块，可以产生包含各种类型的物料的仿真场景，用以对感知系统进行性能测试。对多传感器数据融合算法进行设计，在数据级别、特征级别、决策级别三者上进行设计，设计出适合于分拣机器人感知的数据融合算法，对多源数据进行综合处理。设计传感器标定方案来实现多传感器坐标系的统一，设计时间同步方案以保证多源数据的时间一致。在性能评价以及可视化方面设计性能评价指标体系，对感知系统检测的准确性、定位的准确性、分类的准确性、鲁棒性等进行评价；设计可视化模块，把仿真过程和结果直观地展示出来。仿真平台搭建及验证，在MATLAB环境下搭建完整的仿真平台，设计出各种测试场景，对系统进行有效性及性能方面的验证。

1.3.2 研究目标

本课题研究的目标有三个方面，即理论目标、技术目标和应用目标。从理论上讲，创建多传感器融合感知的理论框架，提出适合复杂物料检测的融合策略，找出各种融合方法的性能及使用场合。技术目标上要创建视觉、激光、力觉、接近这四种传感器的仿真的模型，创建数据级、特征级、决策级这三种融合的算法，创建传感器标定以及时间同步的功能，搭建起完整仿真的环境。就应用目标而言，验证多传感器融合对于复杂物料检测的适用性，给实际分拣机器人感知系统的设计提供借鉴，也可以给教学实验和工程验证提供仿真工具。

1.4 论文组织结构

本文共分为六章，各章内容安排如下：

第一章绪论部分，阐述研究背景和意义，对国内外研究现状进行综述，确定研究内容和目的，论述论文的组织结构。

第二章系统总体设计，分析系统需求，设计系统总体架构，确定传感器选型与配置方案。

第三章为传感器仿真模块设计，主要对视觉、激光、力觉、接近四种传感器进行仿真建模，并生成物料场景。

第四章数据融合算法研究数据级、特征级、决策级三种数据融合算法的实现，并对传感器标定及时间同步提出方案。

第五章为系统实现与仿真测试，搭建MATLAB仿真平台，设置测试场景，对系统的各项指标进行分析评价。

第六章结论与展望，总结研究成果，指出创新点，分析不足之处，展望未来研究方向。

第二章 系统总体设计

2.1 系统需求分析

2.1.1 功能需求

分拣机器人感知系统的主要功能就是得到物料信息，给分拣决策提供依据。具体的功能需求有物料检测功能、物料定位功能、物料识别功能、状态检测功能和环境感知功能这五个部分。

物料检测功能属于感知系统的基础功能，要实现工作区域内是否有物料、物料数量及大致位置的判定。该功能要具备较高的检测率并且要低误检率，从而保证分拣工作的正常运作。物料定位功能是使物料准确地在二维平面位置上和三维空间位置上得到确定。定位精度影响抓取成功与否，要求达到毫米级的精度，对后面抓取规划、执行起着非常重要的作用。物料识别功能可以识别出物料的类型、形状、尺寸等信息来给分拣分类提供支持。对特殊物料来说，要达到较高的识别准确率，即能将透明、反光、软包、异形等不同类型物料进行区分。状态检测功能要检测出物料的运动姿态、状态等信息，给抓取规划提供支持。环境感知功能就是对工作环境的光照变化、障碍物的存在等变化作出感知，给系统的自适应调节提供依据。

2.1.2 性能需求

性能需求是用来评价系统的质量好坏的指标，主要包含检测准确率、定位精度、响应速度、鲁棒性、可靠性这五个方面。检测准确率属于感知系统性能的中心指标，在常规物料场合里要维持在95%以上，对复杂的物料状况也要保证达到85%的水准。定位精度决定着抓取的成功率，平面定位误差不能大于5mm，三维定位误差不能大于10mm。响应速度的要求是感知系统可以实时做出反应，数据采集、处理和输出的时间总和小于100ms，才能满足实时分拣的要求。鲁棒性即系统具有较强的环境适应性，在光照、背景杂乱、物料状态改变等各种干扰中依然可以正常运转。可靠性是指系统具有长期稳定运行的性能，故障率小、易维护。

2.2 系统架构设计

根据上面的需求分析，本文设计了分拣机器人感知系统总体结构。系统用分层模块化设计方式，自下而上分为传感器层、数据处理层、融合层、决策层以及应用层。传感器层为感知系统打下了基础，可以用来采集视觉传感器、激光传感器、力觉传感器和接近传感器所得到的原始数据。数据处理层对原始数据进行预处理，即图像处理、点云处理、力信号处理以及信号滤波等。融合层是系统的心脏，完成各种数据的融合，即数据融合、特征融合和决策融合。决策层对于融合的结果进行评价并作出决策，分为决策融合、置信度评定以及异常处理。应用层是系统与外界的接口，分拣决策、抓取规划、人机交互等都属于这个层面。

分层模块化设计有如下优点，各个层之间功能独立，减小了系统耦合程度，利于维护和升级，模块化设计使各个传感器模块可独立开发和测试，提高开发速度，融合算法根据需要可灵活选择、组合使用，提高了系统的适应性，各个层接口清楚，方便系统集成与调试。

2.3 传感器选型与配置

2.3.1 视觉传感器选型

视觉传感器是感知系统的中枢神经，选取的时候要考虑分辨率，帧率，视场角以及接口等各方面因素。分辨率影响图像的清晰程度及细节获取状况，对分拣而言，须要辨别物料的形状，色彩，纹理等特性，因而选用分辨率达640×480及以上的相机。帧率决定数据采集速度，对实时分拣应用来说，帧率应不小于30fps。视场角会决定相机所处的物理环境的大小以及安装距离等，视场角太大容易引起物体变形、失真。工业相机常用的接口有USB、GigE、Camera Link等，USB接口简单方便，适合小型应用，GigE接口传输距离远，适合大中型应用。综合考虑本系统采用分辨率为640*480、帧率是30fps、视场角为60°的工业相机作为视觉传感器。

2.3.2 激光传感器选型

激光传感器用来测量距离、检测物体，选择的时候要兼顾测量范围、测量精度、扫描频率以及扫描角度等要素。测量范围要包含工作空间，一般选0.1m～2m之间的激光传感器。测量精度影响到定位精度，选择精度大于1mm的激光传感器为佳。扫描频率决定数据更新的速度，扫描频率最好大于或等于10Hz的激光传感器。扫描角度决定覆盖范围，一般用360°全向扫描或者180°扇形扫描。综合考虑，本系统使用的是测量范围为0.1m~2m、精度为1mm、扫描频率为10Hz的2D激光雷达。

2.3.3 力觉传感器选型

力觉传感器用来测量接触力，选型的时候会考虑到测量范围、测量精度、响应频率以及维度等各方面因素。测量范围应包括预期的接触力范围，一般取0～100N的力传感器。测量精度影响材质判断的准确性，最好选用精度为0.1N的力传感器。响应频率会影响动态力测量的准确性，应该选择响应频率不小于100Hz的力传感器。根据应用需求选择单轴力传感器或者多轴力传感器，材质判断单轴力传感器即可满足需求，姿态检测需要多轴力传感器。根据以上分析可知，本系统采用的是量程为0～100N，精度为0.1N，响应频率为100Hz的三轴力传感器。

2.3.4 接近传感器选型

接近传感器用来近距离检测，选择的时候要考虑检测距离、响应时间以及检测对象等。检测距离要达到触发的要求，一般检测距离为0～300mm的接近传感器。响应时间会影响触发是否及时，应该选响应时间小于1ms的接近传感器。不同种类的接近传感器对不同的材质检测效果不一样，光电式接近传感器对大部分材质都有较好的检测效果。综合以上分析可知，本系统采用检测距离为0~300mm、响应时间为1ms的光电式接近传感器。

2.4 本章小结

本章主要对分拣机器人的感知系统功能需求、性能要求以及限制条件进行分析，确定系统的开发目标及范围。设计系统的总体架构时，采用分层模块化的思想，把系统分成传感器层、数据处理层、融合层、决策层、应用层等几个部分，对各个层次的功能以及数据流向进行了说明。最后进行了传感器选型及配置工作，给出了视觉、激光、力觉、接近这四种传感器技术指标。本章工作为后面各个模块的设计打下了基础，保证系统设计的科学性、可行性。

第三章 传感器仿真模块设计

3.1 视觉传感器仿真

3.1.1 视觉传感器模型

视觉传感器仿真模块可以模拟工业相机工作的过程，即图像采集、成像模型、噪声添加等。成像模型上采用针孔相机模型，该模型给出了三维空间点到二维图像点的映射关系。针孔相机模型认为光线穿过一个小孔在成像平面上得到一个倒立的实像，数学上可以以相机内参矩阵来表达投影关系。相机内参是包括焦距和主点坐标，焦距影响的是图像的缩放程度，主点坐标影响的是成像平面的位置。除理想情况下透视投影外，真实的镜头还会有畸变，分为径向畸变和切向畸变两种。径向畸变是由透镜的形状引起的，造成图像出现桶形或者枕形畸变，切向畸变是由镜头与图像传感器不平行造成的。

考虑到径向畸变，用畸变系数对图像进行校正。噪声模型中主要的有高斯噪声、椒盐噪声这两种。高斯噪声是电子器件热噪声的主要来源，服从正态分布；椒盐噪声是由信号干扰或者像素损坏引起的，表现为随机的黑白像素点。本系统用高斯噪声模型来模拟实际图像采集时存在的噪声干扰。

3.1.2 图像生成算法

图像生成属于视觉传感器仿真的主要工作，本文使用的是场景描述法进行图像生成。场景描述中包括物料列表、工作空间参数等信息，图像生成算法首先创建一张空白图像并填充背景颜色，然后遍历场景中的每一个物料，计算出该物料在图像上的投影坐标与投影大小，根据物料类型确定显示颜色，在图像上绘制物料。绘制完成之后加入高斯噪声来模拟实际的图像采集。对透明物料仿真的透明度参数进行调整，用以模拟透视效果，对反光物料仿真的高光效果进行添加，以模仿镜面反射。

该种基于场景描述的图像生成方式计算速度快、参数可调节、易于扩展，可以很快地生成大量的仿真的图像，用作算法的测试资料。

3.1.3 物料检测算法

物料检测就是从图像中识别物料的过程，本系统用模板匹配法和特征提取法进行检测。先做图像预处理，灰度化、滤波、增强。灰度化把彩色图像转成灰度图像，减小计算量，滤波用高斯滤波或者中值滤波消除噪声，增强用直方图均衡化加强对比度。然后进行区域分割，用阈值分割或者边缘检测的方法将物料区域从背景中分离出来。阈值分割就是把图像分成前景和背景两种颜色，边缘检测用检测灰度突然变化的地方来找到物料的边界。常用的边缘检测算子有Sobel算子、Canny算子等。

分割完成之后再做特征提取，从分割得到的物料区域中提取形状特征、颜色特征、纹理特征。形状特征有面积、周长、圆形度、矩形度这些几何参数，颜色特征有平均颜色、颜色直方图这些，纹理特征有灰度共生矩阵、LBP特征这些。最后根据提取出的特征对物料进行分类，用规则或者机器学习的方法对物料进行分类。对常规物料根据形状、颜色等特征即可准确分类，对复杂的物料要综合判断。

3.2 激光传感器仿真

3.2.1 激光传感器模型

激光传感器仿真模块模拟激光雷达的工作过程，即激光发射、反射接收、距离计算。激光雷达是用测量激光脉冲飞行时间来确定距离的，公式为d=c×t/2，d为距离，c为光速，t为飞行时间。以飞行时间为基础的测距方式精度高、反应快。2D激光雷达扫描时利用旋转镜或者电机进行扫描，扫描角度θ_min到θ_max，角度分辨率为Δθ，每个扫描周期采集N个距离数据。扫描模型来设定激光雷达的空间覆盖范围以及空间分辨率。在噪声模型上激光测距有系统的误差和随机的误差。系统误差包含校准误差、温度漂移等等，随机误差有电子噪声、统计波动等。本系统用高斯噪声模型模拟测距误差，并且对透明物料、反光物料设置了专门的误差模型。

3.2.2 扫描仿真算法

激光扫描仿真用光线追踪法模拟激光和物料的相互作用。算法的输入是场景描述、传感器位置、扫描参数，输出的是扫描数据，即角度数组、距离数组。算法先初始化角度数组和距离数组，然后对每一个扫描角度做如下处理：求出激光方向向量，将最小距离设为最大测量范围，遍历场景中每一个物料，求出激光束和物料的交点，如果存在交点并且距离小于当前最小距离，则更新最小距离，并根据物料类型改变反射强度。处理完所有的角度之后，加上测距噪声并返回扫描数据。该种光线追踪方式可以很好地再现激光扫描的几何关系，并且还可以对透明、反光物体进行特殊的处理。

3.2.3 特殊物料处理

对于透明或者反光的物料来说，激光传感器有特别的检测特性。对于透明的物料来说，激光可能会穿透透明的物料或者产生折射，造成测量距离不准。本系统用减小检测概率、增大测距误差的方法来模拟这种特性。当激光束和透明物料相交的时候，有一定的概率穿透物料去检测后面的物体，这个时候测量的距离并不是透明物料真正的距离。对于反光物料，激光容易被镜面反射出去而造成数据的缺失。本系统用随机丢弃一部分数据的方法来模拟该特点，当激光束以较大的角度入射到反光材料表面时，就容易产生镜面反射而不能被接收器探测到。对上述特殊处理后的激光传感器仿真更加接近实际的检测情况，可以体现激光检测的难度。

3.3 力觉传感器仿真

3.3.1 力觉传感器模型

力觉传感器仿真模块用来模拟力传感器在抓取过程中所起的作用。在测力原理上，力传感器通过测量弹性体的变形来确定力的大小，按照胡克定律F=kΔx，其中F是力，k是弹性系数，Δx是变形量。力传感器一般通过应变片把变形转化为电信号，经过放大、模数转换得到数字力值。响应模型分为静态响应和动态响应，力传感器属于其中一种。静态响应是输入力和输出信号之间的一种稳态关系，一般为线性关系；动态响应指的是传感器对变化力的跟踪情况，用一阶或者二阶系统模型来表示。本系统使用一阶低通滤波模型来模拟动态响应特性，用来表示传感器对于力变化的滞后作用。噪声模型上，力传感器会有测量噪声，本文用高斯噪声模型来模拟测量误差，噪声大小和传感器精度参数有关。

3.3.2 接触力仿真

对机器人抓取物料时力反馈进行接触力仿真模拟。先做接触检测，判定抓手和物料是否有接触，根据抓手位置与物料位置来判断。当抓手和物料距离小于阈值时，就认为接触了。根据物料材质来确定接触力，刚性物料的接触力大，变化平稳，力信号表现为明显的阶跃响应；软质物料的接触力小，变化大，力信号表现为缓慢上升；弹性物料的接触力随变形增加，力信号与变形量成正比。本系统利用不同的力模型来模拟不同的材质的力反馈特性，给材质分类提供数据基础。

3.3.3 材质分类算法

按照力反馈特征来对物料的材质进行分类，属于本系统的主要功能之一。分类依据包括力大小、力变化和力分布三个方面。力的大小反映的是物料的硬度，刚性的物料接触力峰值比软的物料要高得多；力的变化反映的是物料的弹性，弹性好的物料受力时，力信号会随着时间波动；力分布反映的是物料的形状特征，不规则的物料力分布不均匀。本系统使用阈值和规则的方法对物料进行分类，根据力反馈特性把物料分成刚性、软质、弹性等类。该种分类方法计算简单、响应快，适合实时使用。

3.4 接近传感器仿真

3.4.1 接近传感器模型

接近传感器仿真模块对光电式接近传感器工作过程进行模拟。光电式接近传感器发出的光线经过物体反射回来，根据接收到的反射光线来判断物体是否存在，检测距离和物体的反射率有关。近似传感器的响应有如下特点，在检测范围内输出有效的信号，检测范围之外没有输出，边界区域的响应不稳定。由于具有非线性响应特性，因此在使用时要对它的检测阈值进行合理设置。关于噪声模型，接近传感器测量噪声使用高斯分布来模拟，考虑环境光干扰以及物料反射率的变化。透明物料的反射率低，检测距离小；反光物料的反射率高，检测距离大。

3.4.2 检测仿真算法

接近传感器检测仿真算法的输入是物料列表、传感器位置和传感器方向，输出是检测结果，即是否检测到、距离、物料信息。算法首先将检测结果初始化为未检测到，计算传感器的检测范围，然后对检测范围内所有的物料进行循环遍历，计算出物料到传感器的距离，计算出物料与传感器之间的相对角度，当距离小于检测范围并且角度小于检测角度的时候，根据物料的反射率调整检测概率。透明物料的检测概率变小，反光物料的检测概率变大。如果检测成功，则更新检测结果，最后加上测量噪声后返回检测结果。算法可以很好地模拟接近传感器的检测特性，支持不同物料的差别检测。

3.5 物料场景生成

3.5.1 物料类型定义

本系统定义五种物料类型，各种类型的检测特性不一样。透明的物料比如玻璃、透明塑料等，透光率高，视觉检测困难，激光容易穿透或者折射，接近传感器检测不稳定。反光物料有金属、镜面等，镜面反射强，视觉图像过曝，激光反射方向不准造成数据丢失，接近传感器检测正常。异形物料的形状不规则，形状无法辨认，多角度的反射造成复杂的姿态定位。软包物料海绵、软塑料等，力反馈变化大、易变形、需要柔性抓取等特点。常规物料形状、材质标准，检测简单。

3.5.2 场景生成算法

情景产生器按照给定参数创建仿真场景。算法输入是物料数量、物料种类、工作空间参数，算法输出就是场景描述。算法先初始化场景，再对每个物料进行随机选择类型，生成物料位置并防止重复，随机生成物料的大小、朝向等属性，根据物料类型产生物料属性，将物料放到场景中。生成之后再对场景统计信息进行计算并返回场景描述。随机生成的方法可以产生很多种不同的场景，给系统的测试工作提供充足的素材。

3.5.3 挑战性场景生成

为了检验系统的性能，设计出各种不同的试验情景。透明物料聚集场景设置了多个透明物料密集排列，测试系统对于透明物料的检测能力，反光物料混合场景把反光物料和常规物料混合起来，测试系统对于反光物料的识别能力，软包异形物料场景把软包物料和异形物料混合起来，测试系统的材质分类以及形状识别能力。挑战性的场景是为解决一个传感器的不足而提出的设计方案，可以评价出多传感器融合系统所具有的优势。

3.6 本章小结

本章主要对视觉传感器、激光传感器、力觉传感器、接近传感器进行仿真。根据不同的传感器建立相应数学模型，采用仿真算法对每个传感器进行仿真，并考虑特殊物料的检测特性。设计了物料场景生成模块，可以产生不同类型物料的仿真场景，有常规场景、挑战性场景两种。本章工作给多传感器数据融合提供数据基础，保证了仿真的完整性、真实性。

第四章 多传感器数据融合算法

4.1 数据融合概述

4.1.1 数据融合定义

多传感器数据融合就是把多个传感器得到的信息综合起来，从而得到比单个传感器更准确、更可靠、更全面的信息。数据融合技术源于军事领域，最早是在军事上被用在雷达的目标跟踪与识别上，而后被运用到各种各样的机器人、智能交通、医疗诊断、环境监测等等。数据融合的思想就是利用不同的传感器之间的互补特点，克服单一传感器的缺点来提高整个系统的性能。分拣机器人的使用当中，数据融合能够达到对物料位置有精确定位的效果，对于物料材质也能作出正确的识别，并且还能实现对物料状态的全方位认识。

4.1.2 融合层次

按照融合的层次不同可以分为三类，分别是数据级融合、特征级融合和决策级融合。数据级融合是在数据层面上进行的，直接对传感器所输出的原始数据实施融合，优点是信息损失少，可以很好地利用原始数据中所包含的细节信息，缺点是对数据一致性及同步性有着较高的要求，并且计算量大。特征级融合发生在特征提取之后，是从各个传感器的数据中提取特征，然后再将提取的特征进行融合，优点是降低数据的维度、减少计算量，但是会丢掉一部分原始信息。决策级融合是在决策层完成的，各个传感器分别独立地做出决策，然后再对这些决策的结果进行融合，其优点在于能很好地应对传感器的异构性，并且系统具有较强的容错能力，然而这种处理方式会使得信息出现一定程度的损失。

4.1.3 融合结构

数据融合结构主要有集中式结构、分布式结构和混合式结构。集中式结构把所有的传感器数据传送到中央处理单元来融合，好处是信息完整、融合精度高，但存在通信和计算负担重、中央单元故障会致使整个系统瘫痪的缺点。分布式结构的各个传感器先进行本地处理，再把结果发送到融合中心，优点是通信负担小、系统鲁棒性好，缺点是信息有损失、融合精度较低。混合式结构具有集中式和分布式的特点，部分传感器用集中式融合，部分用分布式融合。本系统采用混合式结构，数据级和特征级融合用集中式来保证精度，决策级融合用分布式来提高鲁棒性。

4.2 数据级融合

4.2.1 加权平均法

加权平均法是数据级融合中最简单的融合方法，只对同类型的数据进行融合。设各传感器测得的值为xi，权重为wi，则融合结果为各传感器测得的值加权平均。权重可以依据传感器的精度、可靠程度等要素来定，精度越高，所对应权重越大。本系统中，权重是随着传感器对目前物料类型检测能力的变化而变化的。对于透明物料视觉传感器权重减小，激光传感器权重减小，接近传感器权重增大；对于反光物料视觉传感器权重减小，激光传感器权重减小，力觉传感器权重增大。动态权重调整可以充分利用各个传感器的优点来达到融合的目的。

4.2.2 卡尔曼滤波法

卡尔曼滤波是动态系统状态估计的一种最优估计法。位置融合问题中卡尔曼滤波是用预测和更新两个过程进行状态的估计。预测步骤根据系统的模型来预测目前的状态以及估计的误差协方差；更新步骤是根据传感器观测值来修正预测的结果。卡尔曼滤波的核心思想就是预测值与观测值的最优加权，加权系数叫卡尔曼增益。卡尔曼增益的大小与估计误差协方差和观测噪声协方差相比拟合程度有关，估计误差大时，对观测值有更高的置信度；观测噪声大时，对预测值有更高的置信度。本系统用卡尔曼滤波对位置进行融合，把各个传感器所测得的位置作为观测输入，输出出融合后的估计值。卡尔曼滤波可以很好地平滑掉测量噪声的影响，从而达到提高定位精度、稳定性的目的。

4.2.3 贝叶斯融合法

贝叶斯融合是用贝叶斯定理把先验信息和观测信息结合起来得到后验估计。贝叶斯定理给出的是在得到观测数据之后，参数的条件概率分布同先验概率以及似然函数之间的联系。对于位置估计问题，采用贝叶斯融合法将工作空间离散成网格，用均匀分布来初始化先验概率分布，再对每一个传感器的观测结果进行处理，计算其似然函数，更新后验概率分布，最后取后验概率最大的位置作为融合结果。贝叶斯融合方法的优势在于可以自然地融合多源信息，输出概率分布形式的估计结果，适合做后续的不确定性处理。

4.3 特征级融合

4.3.1 特征提取

特征级融合首先要从各个传感器的数据中提取特征。本系统提取出来的特征有视觉特征、激光特征、力觉特征和接近传感器特征。视觉特征由形状、颜色和纹理这三个方面组成。形状特征包括面积、周长、圆形度、矩形度等几何参数，颜色特征有平均颜色、颜色直方图等，纹理特征有灰度共生矩阵、LBP特征等。激光存在距离、形状、反射强度三个方面的特征。距离特性有平均距离、距离方差等；形状特性有聚类大小、轮廓特征等。力觉特征有力大小特征、力方向特征、力变化特征等，平均力、最大力、力方差等都属于力觉特征。接近传感器的特征有距离特征、接近速度特征。这些特征分别从不同的角度来表现物料的特性，给融合赋予了众多的信息支撑。

4.3.2 特征融合方法

本系统使用了三种特征融合的方法，分别是特征拼接、特征加权和特征选择。特征拼接就是将各个传感器提取出的特征直接拼接到一起形成一个高维的特征向量，该方法比较简单，可以保留所有的特征信息，但是特征维度很高，计算量也较大。特征加权是根据各个特征的重要性来进行加权融合，权重可以按照特征区分能力以及稳定性等指标来决定，此种方法有利于突出重要的特征，抑制噪声特征。特征选择是从所有的特征中选出最好的一组特征子集，降低特征维度，提高融合的效率，常用的有过滤法、包装法、嵌入法。本系统主要用特征加权的方法来融合各个特征，根据物料类型来设置各个特征的权重，然后将所有的特征加权融合得到一个统一的特征描述符。

4.3.3 特征融合实现

特征融合的实现过程如上图所示，首先从各个传感器的数据中提取出视觉的形状、颜色、纹理特征，激光的距离、形状特征，力觉的力大小、力变化特征等；然后根据物料的类型来确定各个特征的权重，对于常规物料，视觉特征的权重较大；对于透明物料，力觉和接近传感器特征的权重较大；对于反光物料，力觉特征的权重较大；对于软包物料，力觉特征的权重较大；最后将特征融合起来，得到统一的特征描述符。自适应的特征融合策略可以根据物料种类来调节融合权重，从而最大程度上发挥各个传感器的优势。

4.4 决策级融合

4.4.1 贝叶斯决策融合

贝叶斯决策融合采用贝叶斯理论来融合各个传感器的决策概率。假设各个传感器的决策结果是d_i，先验概率是P(c)，似然概率是P(di|c)，那么后验概率P(c|d_1，…，d_n)与先验概率和似然概率的乘积成正比。贝叶斯决策融合的优缺点都是能很好地处理不确定的情况，并能产生各个决策类别的概率分布。本系统中各个传感器输出的置信度为似然概率的估计，经过贝叶斯融合后得到综合后的后验概率，选择后验概率最大的类别作为最终决策。该种方法可以很好地把不确定的信息结合在一起，提高决策的准确性。

4.4.2 D-S证据理论

D-S证据理论是用于处理不确定性信息的理论，属于决策级融合的一种。D-S证据理论中的基本概念有基本概率分配、信任函数、似然函数。基本概率分配是在识别框架上子集上的一个定义，它给出每一个子集的置信程度；信任函数是对命题的信任程度；似然函数是对于不否定命题的程度。Dempster合成规则是合并多个证据源的算法，它先算交集，再算归一化因子得到融合后的基本概率分配。本系统使用D-S证据理论来处理传感器之间存在的冲突信息，在不同的传感器之间做出的决策结果出现较大的差异时，D-S证据理论可以很好地处理不确定的问题，给出比较合理的融合结果。

4.4.3 决策融合实现

本系统用加权投票法和可靠性评价法结合起来进行决策融合。首先各个传感器独立作出决策，给出决策结果以及置信度；再依照传感器的可靠性来改变置信度，可靠性依靠历史检测的准确程度动态更新；之后执行加权投票来进行决策融合，得到各个决策类别的加权得票数；最后得出融合决策的置信度，并以此为依据确定行动。置信度高的直接做决定，置信度低的请求人工确认，置信度中等的跳过此物料。该分级处理方式既实现了系统的自动化管理，又在必须的时候加入人的判断，从而提高了系统可靠性。

4.5 传感器标定

传感器标定是确定传感器坐标系间关系的过程，也是多传感器融合的前提。标定分为内参标定和外参标定。内参标定就是确定传感器本身的参数，例如相机的内参矩阵、畸变系数等。相机内参标定常用张正友标定法，拍摄不同的姿态标定板图像，提取角点坐标，建立相机模型方程，求出内参和畸变系数。外参标定得到的是传感器坐标系间变换关系，即旋转和平移。相机和激光雷达的标定，常用的方法有基于标定物的方法、基于特征匹配的方法和基于运动的方法。本系统采用标定物的方法，通过标定板采集图像和点云数据，提取对应特征点，求解外参矩阵。

4.6 本章小结

本章主要对多传感器数据融合算法进行了研究。首先对数据融合的基本概念及层次结构进行了介绍，主要有数据级、特征级和决策级三个融合层次。再分别对数据级融合的加权平均法、卡尔曼滤波法、贝叶斯融合法进行研究，对特征级融合的特征提取和融合方法进行了研究，对决策级融合的投票法、贝叶斯决策融合、D-S证据理论等进行了研究。最后给出了传感器标定、时间同步的方法。本章的工作给系统的实现提供算法基础，保证多传感器数据有效融合。

第五章 系统实现与仿真测试

5.1 仿真平台搭建

本系统以MATLAB为平台，在MATLAB环境下进行面向对象的编程实现。开发环境为Windows 10或11，MATLAB R2018b或以上版本，所用到的工具箱有Image Processing Toolbox，这个工具箱可以用来做图像处理的功能，比如边缘检测、形态学操作等，但是可以选装，不影响主要的功能实现。MATLAB作为仿真平台有如下优点，矩阵运算速度快，可以进行图像和信号处理，工具箱中包含大量的现成的算法，可视化效果好，结果易于展示，面向对象编程支持较好的代码结构。

5.2 仿真场景设计

5.2.1 物料场景示意

为了使仿真环境更清晰地被表达出来，在图5-1中给出了本系统产生的一般物料场景。该场景中的物料种类较多，工作空间设为1m×1m，物料随机分布在工作区域里。图中不同物料的尺寸、形状、颜色各不相同，给后面传感器仿真及融合算法测试提供多种测试数据。

图5-1 物料场景示意图

5.2.2 视觉传感器图像

仿真图像图5-2为视觉传感器采集的仿真图像。图像分辨率为640×480，在图像中可以清楚的看到工作区域内所有物料的情况。视觉传感器可以得到物料颜色、形状、纹理等外观信息，给物料识别与分类提供重要的依据。从图中可知，各种物料在图像上具有的视觉特性不同，有利于后面图像处理和特征提取。

图5-2 视觉传感器图像

5.2.3 激光扫描数据

激光传感器的扫描图如图5-3所示。图中的激光雷达工作区域扫描数据如图所示，扫描角度在横轴上，测量距离在纵轴上。利用激光扫描可以得到物料的距离信息和轮廓特征，给物料的定位提供准确的位置数据。从图中可以看出不同的物料距离特征有差别，有利于物料的检测与定位。

图5-3 激光扫描数据

5.2.4 力觉传感器数据

力觉传感器抓取过程中的力反馈数据见图5-4。图上给出了各种材质物料接触过程中力的变化曲线，时间轴为横轴，测量力值为纵轴。刚性物料接触时力信号有明显的阶跃响应，峰值大，软质物料接触时力信号缓慢上升，峰值小。通过力信号的分析来判定物料的材质种类，从而给柔性抓取赋予支撑。

图5-4 力觉传感器数据

5.2.5 接近传感器数据

接近传感器检测结果如图5-5所示。图中给出了接近传感器在机械臂接近物料过程中检测到的距离数据，横轴是时间，纵轴是检测距离。当机械臂接近物料的时候，距离值变小，距离小于设定阈值的时候，传感器就会发出触发信号来确认物料的存在以及触发抓取动作。

图5-5 接近传感器数据

5.3 性能评估指标

5.3.1 性能评估指标体系

本文所创建的性能评判指标体系如图5-6所示。该体系有检测性能、定位性能、分类性能、鲁棒性这四个方面的内容。检测性能用检测率、精确率、F1分数来表示，定位性能用平均定位误差、均方根误差来表示，分类性能用分类准确率和混淆矩阵来表示，鲁棒性用类型鲁棒性和一致性指标来表示。该完整的评估体系可以对感知系统的综合性能做出全方位的评价。

图5-6 性能评估指标体系

5.4 仿真结果分析

5.4.1 各类型物料检测性能

图5-7不同物料类型的检测性能比较图。由图可知系统对于常规物料检测性能最好，检测率达96.5%，定位误差为2.5mm；透明物料和反光物料检测率有所降低，但是多传感器融合后检测率仍大于80%（透明物料85.2%，反光物料82.4%）；异形物料和软包物料的检测性能居中，分别为87.3%和89.7%。该结果说明多传感器融合系统可以较好地解决复杂物料的检测问题，具有较强的鲁棒性。

图5-7 各类型物料检测性能

5.4.2 不同融合方法位置估计对比

图5-8为加权平均法、卡尔曼滤波法、贝叶斯融合法、D-S证据理论法这四种算法的位置估计算法的比较结果。横轴为采样时间或者样本序号，纵轴为位置估计值。从图中可以得知各个融合算法都可以得到较好的物料位置估计结果，但是性能有差别。卡尔曼滤波估计轨迹最平滑，误差最小；加权平均法响应最快但是波动大；贝叶斯融合、D-S证据理论的处理效果介于两者之间。经过综合分析，卡尔曼滤波的定位精度、稳定性最好，适合作为本系统实时使用。

图5-8 不同融合方法位置估计对比

5.4.3 挑战性场景视觉图像

为了检验系统在复杂的环境下感知能力的好坏，设计出三个挑战性的场景，对应的视觉传感器图像见图5-9至图5-11。

图5-9为透明物料聚集视觉图像。图中许多透明物料密集排列，由于透明物料透光性，传统视觉无法得到清晰的边缘信息，在图像中物料轮廓不明显。为了解决该问题，本文把激光、接近传感器的信息结合起来使用来提高透明物料的检测率。

图5-9 透明物料聚集视觉图像

图5-10为反光物料混合时的视觉图像。图中的反光材料表面是镜面反射，在局部处造成过曝，不能对视觉传感器进行正常的检测。本系统利用力觉、接近传感器的数据来克服视觉检测的缺点。

图5-10 反光物料混合视觉图像

图5-11给出了软包异形物料场景下的视觉图像。图中软包物料呈不规则状，异形物料形状各异，加大了形状识别与抓取规划的困难程度。本系统用力觉传感器感知物料的硬度，用视觉的形状特征做分类，可以很好地对软包、异形物料进行准确的分类。

图5-11 软包异形物料视觉图像

5.4.4 系统运行结果

图5-12给出了系统运行过程中MATLAB命令行窗口显示结果。从窗口中可以看出系统运行日志、检测结果以及性能统计情况，例如物料检测数量、定位误差、分类结果等。命令行输出可以很好地反映系统实时运行的状态，有利于进行调试以及性能监测。

图5-12 系统运行命令行窗口