第 1 章 作品概述

1.1 项目背景.

        “果农的成本，70% 在采摘”。这小小的采摘，却有着大大的需求。采摘是水果生产链中最耗时耗力的环节，为了帮助果农减少开支来提高收入从而设计一款采摘机器人，实现推动鲜果市场的数字化转型，帮助果农脱贫落实中国乡村振兴战略。（背景）

        经查阅“水果产业发展现状分析一文”，中国水果产业品类多、总量大，水果已经成为中国继粮食、蔬菜之后的第三大农业种植产业，果园总面积和水果总产量常年稳居世界首位。并且常量稳定上升，2022年与2012年相比，增幅约41.67%。水果总产量由两部分组成：果园水果，瓜果。其中果园水果中产量最大的是柑橘，瓜果中产量最大的是西瓜，该文主要针对采摘柑橘问题。（分析）

        市面上暂时还没有农业采摘机器人的应用，智能采摘机器人还在发展中，20 世纪 80 年代中期以来，美、法、日、英等国家 对采集机器人进行了大量的探索，并在此基础上开 发出了许多具有智能化的采集机器人，如苹果、葡 萄、草莓、西红柿、黄瓜等采摘机器人。20 世纪 90 年代中期，我国已开展了采集机器人的研发工作， 尽管与国外相比仍有一定的差距，但已有了长足的进步。

        我们设计一款柑橘和质量检测分级采摘机器人，为中国农业机器人的发展尽一份力，提供一份思路。

1.2.技术创新

        首先，根据中国自身水果产量触出发选择设计柑橘采摘机器人，经过调查，柑橘是中国生产量最大的水果，其次是苹果和犁，结合中国水果生产情况，所以我选择设计柑橘采摘机器人，可以最大程度解决中国果农的需求。其次，柑橘采摘机器人研究时间较短，研究程度较低，被发掘潜力的可能性较大。（原因）

        视觉创新：由于果树上的柑橘与叶子和枝干的差异较大，所以设计的柑橘采摘机器人使用使用状态识别识别柑橘，使用颜色识别识别成熟度。使用双摄像头定位来识别柑橘的位置，摄像头高度调节装置识别到果实后，该装置利用电机将摄像头移动到与果实登高处，获取该果实的位置信息，以该装置摄像头为原点，摄像头与柑橘连线为x州建立原坐标系，将该装置摄像头把位置信息通信传给机械臂上的摄像头， 机械臂上的摄像头也建立坐标系，根据传来的信息自己的实时检测高准确度的识别到柑橘位置，并向柑橘移动。

        末端执行器创新：末端执行器是机械手的关键部位，主要由夹持装置、驱动装置、切割装置及传感器等组成，按照果实抓取方式可分为夹持式、吸入式、吸持式。华南农业大学的陈燕等设计了单动力源驱动、夹剪一体的适用于荔枝采摘机器人的末端执行器；王毅依据仿生学原理与柑橘物理特性，模仿蛇吞咬捕猎动作设计的末端执行器，魏博设计的欠驱动式柑橘采摘末端执行器该末端执行器选择使用力脱离的方式，该末端执行器根据双连杆机构设计手指，并在手指内 侧贴有硅胶，利用电机驱动齿轮组传导连杆机构驱使手指伸开和闭合，旋转分离果柄。 由于是力脱离的方式，扭拉柑橘时会将果柄从果蒂处拉出，损伤柑橘。本设计机器人为了采摘总体效率的提高，采用剪刀快速剪断，使用简单的剪刀剪短可以减小末端执行器的复杂程度，减小末端执行器的质量，减小机械臂的承重，使重心向下偏移，有利于该机器人的稳定。没有使用夹装置，而是直接使用采用软管道，将剪短的柑橘直接送入收集框，减少了机械臂将柑橘送到收集框动作，减少了时间，大大提高了速率。而且采用软管道保护了果实，如果直接使用机械臂将柑橘丢入收集框，丢入的时候会一定高度，该高度产生的重力势能可能使柑橘破损。

        功能补充：根据调查，大部分的柑橘采摘机器人只用于实现柑橘果实的采摘而没有添加其他功能。考虑到柑橘品质的不同会卖出不同的价格，果农们还需要将采摘来的柑橘进行质量分类，将一级果放一起，将二级果放一起...，为了减少果农的成本，该机器人还添加柑橘质量检测并分级功能，执行该功能，机器人将把采摘来的柑橘进行质量检测。

1.3.推广前景

1.解决经济转型

        随着我国经济的转型，农村劳动力逐步向其他行业转移，造成了农村劳动力的短缺。因此，农业采摘机器人作为一种有效的农业技术可以高效地 提高农业生产效率，减少劳动力成本，提高农作物采摘质量，并且可在不同的环境条件下运行，为农业生产提供有效的支持。

2.政策大力支持

        近年来，我国深入实施党中央国务院提出的“藏粮于地， 藏粮于技”农业战略，加快建设农业强国，推进农业科技现代化。农业生产在数字化、智能化进行了全面升级改造。各 种农业机器人取代传统农业劳作，提高了生产效率。在水果 采摘领域，也有学者、工程师不断进行研究开发各种水果采摘机器人。

 

      

第 2 章 问题分析

2.1 问题来源

        目前，我国的果树采收工作多为人工操作。在 果树生产中，抽穗是最耗费时间和精力的一个环 节，它占据了整个生产的 40% ，而成本则是超过 50% 。进入 21 世纪，我国人口老龄化问题日益突 出; 而在工业迅速发展的同时，农村劳动力也在逐渐向其他产业转移。因此，农业劳动力紧缺问题日益凸显，导致了农业生产成本不断上升。

        

2.2 现有解决方案

1.偏向于劳作行走问题，水果定位效率有待提高

        许子康老师在论文提出了基于STM32的六足农业仿生机器人研究 ，主要为了解决农业生产中喷雾，施肥，收割 的农业劳作，用仿生的方式解决机器人在劳作区域稳定行走 的问题。孙永芳老师提出 GPS 位置定位功能为保证实时获 取农业采摘机器人的具体位置，用超声波控制机械抓手与水 果距离，实现水果采摘 。但是超声波在实际应用中会受到各种干扰，比如树叶、树枝和水果本身的反射、折射等等， 给距离估算带了不可忽略的误差。闵小翠老师提出，为提 升农业采摘机器人运动协作控制性能，降低机器人碰撞概率，利用 D-H 法优化设计机器人运动协作控制系统防止多 机器人协同工作时碰撞问题，这里主要解决了多机器人同时劳作时行走问题。可以看到目前对提高水果定位的研究不是太多，并且水果采摘机器人的成功定位效率还都有待提高。

 
2.注重末端执行器的设计，果实收集效率有待提高
 
        华南农业大学的陈燕等设计了单动力源驱动、夹剪一体的适用于荔枝采摘机器人的末端执行器；王毅依据仿生学原理与柑橘物理特性，模仿蛇吞咬捕猎动作设计的末端执行器，魏博设计的欠驱动式柑橘采摘末端执行器该末端执行器选择使用力脱离的方式，该末端执行器根据双连杆机构设计手指，并在手指内 侧贴有硅胶，利用电机驱动齿轮组传导连杆机构驱使手指伸开和闭合，旋转分离果柄。采摘完果实后，如何提高将采集完的果实送入收集框效率问题研究较少
 
3.农业采摘机器人功能单一
        
        根据调查，大部分的柑橘采摘机器人只用于实现柑橘果实的识别和采摘而没有添加其他功能，功能单一。
 

2.3 本作品要解决的痛点问题

        1.提高水果定位效率：使用双摄像头定位来识别柑橘的位置，摄像头高度调节装置识别到果实后，该装置利用电机将摄像头移动到与果实登高处，获取该果实的位置信息，以该装置摄像头为原点，摄像头与柑橘连线为x州建立原坐标系，将该装置摄像头把位置信息通信传给机械臂上的摄像头， 机械臂上的摄像头也建立坐标系，根据传来的信息自己的实时检测高准确度的识别到柑橘位置，并向柑橘移动。

        2.提高水果收集效率：使用简单的剪刀剪短枝干可以减小末端执行器的复杂程度，减小末端执行器的质量，减小机械臂的承重，使重心向下偏移，有利于该机器人的稳定。没有使用夹装置，而是直接使用采用软管道，将剪短的柑橘直接送入收集框，减少了机械臂将柑橘送到收集框动作，减少了时间，大大提高了速率。而且采用软管道保护了果实，如果直接使用机械臂将柑橘丢入收集框，丢入的时候会一定高度，该高度产生的重力势能可能使柑橘破损。

        3.完善机器人功能：该机器人还添加柑橘质量检测并分级功能，机器人将把采摘来的柑橘进行质量检测，将采摘来的柑橘进行质量分类，将一级果放一起，将二级果放一起...，为了减少果农的成本。

2.4 解决问题的思路

机械臂上摄像头：

        1.获取产品使用所需要的数据集：在开csdn上获取，网址如下：

        2.将所得到的数据集进行目标标注，得到可以用于 YOLO 神经网络训练的 json 文件。数据特点：是一种轻量级的数据交换格式，通常用于 Web 应用程序 中的数据传输。它以键值对的方式组织数据，支持嵌套结构，是一种易于阅读和 编写的数据格式。
        3.通过对已有 YOLOv5 神经网络的优化以及修改参数进行数据训练得出多 个模型文件(.pt 文件 ) ，再对多个模型的实际使用情况进行对比最终得到“最优模 型”，将其转化为可用于树莓派的模型文件(.onnx 文件 ) ，并将其移植进树莓派。 数据特点：
        (1).pt 文件： PyTorch 的模型保存格式，包含了模型的权重参数和网络结构。
pt 文件可以通过 PyTorch 框架加载，用于模型的训练、推理和迁移学习等任务。
        (2).onnx 文件： Open Neural Network Exchange 的缩写，是一种跨平台的深度 学习模型格式，可以在不同的深度学习框架中转换和加载。onnx 文件包含了模型的计算图和权重参数，可以用于模型的推理和部署。
 
Openmv摄像头：
        1.使用openmv自带功能截图柑橘数据集。
 
        2.使用免费模型训练网站训练数据集，网站 Edge Impulse - The Leading edge AI platform
 
 
        3.多次训练，取训练成果最好的一次作为模型，将训练好的模型导入openmv。

第 3 章 技术方案.

3.1 利用 YOLOv5 进行柑橘目标检测

3.1.1 YOLOv5 的介绍

        我们选择当下YOLO 最成熟的卷积神经网络 YOLOv5 来进行火焰识别检测， 在我们还对 YOLOv4 的各种高端操作、丰富的实验对比惊叹不已时， YOLOv5 又带来了更强实时目标检测技术，并且 YOLOv5 是完全基于 PyTorch 实现的。 按照官方给出的数目，现版本的 YOLOv5 每个图像的推理时间最快 0.007 秒，即 每秒 140 帧（ FPS ），但 YOLOv5 的权重文件大小只有 YOLOv4 的 1/9 。 目标检测架构分为两种，一种是 two-stage ，一种是 one-stage ，区别就在于 two-stage 有 region proposal 过程，类似于一种海选过程 , 网络会根据候选区域生 成位置和类别，而 one-stage 直接从图片生成位置和类别。今天提到的 YOLO 就 是一种 one-stage 方法。 YOLO 是 You Only Look Once 的缩写 , 意思是神经网络只 需要看一次图片，就能输出结果。YOLO 一共发布了五个版本，其中 YOLOv1 奠定了整个系列的基础，后面的系列就是在第一版基础上的改进，为的是提升性能。
                    YOLOv5 的各个版本性能对比
 

3.1.2 采集数据集

        收集数据集是进行目标识别的第一步，也是非常关键的一步。一个好的数据 集能够对模型的训练和预测准确性产生重要影响。在本项目中，我们在采集数据 集的过程中经过如下步骤：
        1.明确数据集目标：在这个项目中，我们需要收集火焰的图像，所以需要明 确数据集的目标是什么。
        2.搜索公共数据集：我们可以搜索一些公共的数据集，比如 ImageNet 、 COCO 等。这些公共数据集可能已经包含了我们需要的一些图像，可以直接使用或者通 过筛选进行采用。
        3.数据集的清洗和预处理：在收集数据集的过程中，我们可能会遇到一些问 题，比如重复的图像、图像质量不好等。我们需要进行数据清洗和预处理，确保 我们的数据集质量符合要求。
        4.数据集的标注：我们需要将数据集中的每张图像标注出其中的火焰区域。 这个过程需要耗费一定的时间和人力，可以手动标注，也可以使用一些自动标注 工具进行标注。
 
                                                        对数据集进行标注

3.1.3 数据集预处理

对数据集进行预处理，包括图像的尺寸统一、颜色空间转换、数据增强等， 以便于训练模型。
                                        编写程序对程序进行预处理

3.1.4 模型选择和训练

        选择合适的 YOLOv5 模型进行训练，在本项目中，为了保证所得模型以及 程序能在树莓派上流畅运行，我们选择使用较为轻量化的模型：yolov5s.pt 作为 初始化训练权重训练模型，同时为保证在训练过程中 GPU 拥有充足的算力，我 们租用了一台云服务器为数据训练提供硬件支持，使得训练出的模型能够更快速 和准确地识别和检测目标。在训练过程中设置训练参数，如学习率、批次大小、 迭代次数等。
                                                                        修改参数

3.1.5 模型评估        

        使用 TensorBoard 可以方便地对模型进行评估和对比，以下是本项目使用 TensorBoard 工具进行模型评估对比的步骤：
        1.启动 TensorBoard 工具，并指定训练日志文件所在的目录。
        2.在 TensorBoard 中选择要评估和对比的模型，例如模型的精度、损失等指 标。
        3.使用 TensorBoard 的可视化工具进行模型比较，例如通过折线图、直方图、 散点图等方式呈现模型性能。
 
                                通过 tensorboard 工具对模型进行参数对比
        4.使用 TensorBoard 进行模型评估和对比可以帮助我们更好地理解模型的 性能和优化方向，进而提高模型的性能。同时，TensorBoard 工具支持实时更新， 能够随着训练过程的进行动态更新模型性能指标，便于及时调整优化策略。通过 实际使用验证以及数据对比，最终决定使用 5 号模型作为目标检测的标准权重模型。

3.1 利用 Openmv 进行水果目标检测

3.1.1 Openmv的介绍

        OpenMV是一款开源、功能强大且低成本的机器视觉模块。其核心采用了STM32F767CPU，并集成了OV7725摄像头芯片。通过高效的C语言实现了核心机器视觉算法，并提供了Python编程接口。用户可以轻松使用Python编写简单的代码，实现诸如寻找色块、人脸检测、眼球跟踪等机器视觉任务。这使得OpenMV在非法入侵检测、产品残次品筛选、固定标志物跟踪等方面具有广泛的应用。

        其小巧的设计使得它适用于各种创意产品，例如智能机器人、智能车辆和智能玩具等。同时，OpenMV采用的STM32F427具有丰富的硬件资源，包括UART、I2C、SPI、PWM、ADC、DAC以及GPIO等接口，方便用户扩展外围功能。此外，它还配备了USB接口和TF卡槽，用于连接电脑、进行编程调试以及存储数据。

3.1.2 训练检测柑橘模型

         1.创建工程

        2.导入数据

        3.模型建立

        4.图像预处理

        5.训练成果

 

3.1.3 颜色识别检测成熟度

        我们利用openmv采用颜色识别柑橘成熟度，柑橘成熟时为橙色，为成熟时为绿色，我们通过颜色识别可以准确正确的的识别到成熟的柑橘。

3.2智能车部分技术实现

3.2.1 硬件组成

        主控板 STM32 通过 MortorA 和 MortorB 俩个接口控制俩个电机的运动，也通过其他接扣控制舵机的运动以及与上位机 jetsonNano 进行通信。智能车车头安装了激光雷达与转接板相连，转接板再与 jestsonNano 连接进行信息传输。小车底部安装了 PS2 手柄接收器，可与 PS2 手柄连接进行控制。智能车安装有四个车轮，两个后轮通过电机驱动进行运动，两个前轮连接了舵机，控制智能车的转向。

3.2.2 软件部分

        智能车搭载了 JetsonNano-NX-TX1 系统且安装了 ROS 操作系统，用于控制激 光雷达预计与 STM32 主控板的通信。

3.2.3 运动控制及优化

        智能车通过 PID 控制算法来控制电机进行车身前进和后退运动以及舵机的 转向。PID 调节器出现于上世纪 30 年代。PID 控制算法是一种常见的反馈控制 算法，它可以用来控制各种物理系统。PID 代表比例（P）、积分（I）和微分（D）， 它们是三个用于计算控制输出的系数。PID 算法基于实际测量的误差信号来计算 控制输出，以尽可能地减小误差信号。 PID 算法的优点包括简单、易于实现、适用于各种系统和稳定性好。然而， 在采摘时，地面凹凸不平的情况下，PID 算法可能会出现振荡或稳态误差等问题， 因此需要进行针对应用场景优化。 由于在凹凸不平的地面上，车辆的运动状态可能会非常复杂和非线性，因此 我们利用非线性控制方法中的模型预测控制法（MPC）来对车辆的控制进行优化。在智能车的运动中，MPC 可以用于对车辆的运动轨迹进行规划和控制，以 实现自动驾驶和车辆行驶的控制。在凹凸不平的地面上，可以使用 MPC 来预测车辆的运动状态，并计算出最优的控制输入，以保持车辆的稳定性和控制精度。

3.2.4 激光雷达避障及优化

1.激光雷达根据测量原理可以分为三角法激光雷达、脉冲法激光雷达、相干 法激光雷达。最常用的是脉冲激光雷达，也是我们使用的雷达。基于脉冲法的激光雷达利用光速测距。激光发射器发射激光脉冲，计时器记录发射时间；脉冲经 物体反射后由接收器接收，计时器记录接收时间；时间差乘上光速除以 2 得到距离。激光雷达又以下四个部分组成：
        (1).发射单元：激光器、发射光学系统，发射激光束探测信号；
        (2).接收单元：接收光学系统、光学滤光装置、光电探测器。（接收反回 的激光信号即回波信号）；
        (3).控制单元：控制器、逻辑电路；
        (4).信号处理单元：信号处理、数据校准与输出。
2.智能车的激光雷达主要使用地图构建法，考虑到有障碍物以及地面凹凸不平，我们对该方法进行了以下俩点优化：
        (1).地面分割:在凹凸地面的情况下，地面的形状和高度会发生变化，因此需 要进行地面分割，将地面和障碍物分开处理。我们使用 RANSAC 算法基于平面 拟合的方法进行地面分割。
        (2).算法优化:针对有障碍物和凹凸地面的情况，需要对地图构建算法进行优 化。我们采用增量式算法，将扫描得到的数据进行逐步融合，减少计算量和配准误差。

3.3机械臂部分技术实现

3.3.1 机械臂功能开发

        在本项目中我们使用的机械臂基于 STM32F103，其具有有以下功能：
        1.运动：使用 STM32F103 的 PWM 输出口控制舵机的转动，从而实现机械臂的运动。
        2.感知目标：摄像头、红外传感器等感知设备接收到的信息会经过处理后传输给机械臂，让机械臂能够检测到目标物体的位置、距离等信息。
        3.采摘果实：机械臂可以通过控制舵机的转动，将末端执行器准确地放到目标物体的位置，实现采摘。
        4.远程控制：我们通过使用自主研发的 app，通过蓝牙和 WiFi 这俩种无线通信方式，将机械臂控制端口与遥控器相连，实现远程控制。
        5.系统监测：我们加装了温度传感器、压力传感器等监测设备，监测机械臂 的运行状态，从而避免出现故障。同时，也可以通过 STM32F103 的串口输出， 将监测数据传输到上位机，实现系统监测与数据分析。

3.3.2 机械臂部署使用

        1.舵机控制技术:STM32F103 的机械臂使用舵机进行角度控制。舵机是一种基于电机驱动的伺服系统，内部集成了电机驱动、位置反馈传感器和控制电路等 模块。通过 PWM 信号的占空比来控制舵机旋转到特定的角度，舵机可以精确 地控制机械臂的运动。机械臂通常由多个关节连接而成，每个关节对应一个舵机， 通过逐个控制舵机的旋转角度，可以控制机械臂的姿态。
        2.蓝牙通信技术:蓝牙是一种无线通信技术，可以在短距离内传输数据，通常 用于与移动设备进行通信。STM32F103 的机械臂可以通过蓝牙模块与移动设备 进行通信，实现远程控制。在控制过程中，可以使用不同的蓝牙通信协议，如 SPP 协议、BLE 协议等，根据具体应用场景进行选择。蓝牙模块通常连接到 STM32F103 的串口端口，通过串口通信协议与 STM32F103 进行通信，以实现移 动设备对机械臂的控制。
        3.姿态解算技术:机械臂的姿态通常由关节角度和末端执行器位置确定。在机 械臂的运动控制中，需要对机械臂的当前姿态进行解算，以确定下一步的运动目 标。机械臂的姿态解算可以使用正逆运动学算法来实现。正运动学算法可以根据 机械臂的关节角度和机械臂的结构参数计算机械臂的末端执行器位置;逆运动学 算法则可以根据机械臂的末端执行器位置和机械臂的结构参数计算出机械臂的 关节角度。在实际应用中,还需要考虑机械臂的误差校准和运动规划等问题
        4.控制算法技术:机械臂的运动控制通常使用 PID 控制算法来实现。PID 控制 算法是一种反馈控制算法，可以根据机械臂的实时状态，调整舵机的控制信号， 实现机械臂的精确控制。
        5.电源管理技术:STM32F103 的机械臂需要适当的电源管理，以保证机械臂 的正常运行。通常使用稳压电源模块，对机械臂中的各个模块进行电源管理，确保电压稳定。        

3.4柑橘质量检测和分级

3.4.1图像预处理

        系统可以通过摄像头来采集柑橘图像，因为可能由于光线的反射和角度问题，图像可能出现光照不均匀现象。采用了同态滤波增强图像，并使用中值滤波消除噪声来解决问题。为了提高柑橘分级效率，我们只需要对感兴趣区域进行背景分割和特征提取。最后，根据不同角度的柑橘图像信息，对柑橘进行准确分级。

3.4.2 背景分割

        为了提取柑橘图像中的轮廓，我们可使用自适应Ostu阈值分割算法，它能自动计算最佳阈值以提取柑橘。另外，泛洪填充算法也很有效，它从一个点开始，逐步填充周围像素，直到封闭区域内的所有像素都被填充为止。填充与背景相近的部分为黑色，突出前景与背景的差异。

3.4.3 特征提取

（1）果径

        根据鲜柑橘分级标准，柑橘的果径等于其最大横截面直径。因此，我们使用最小外接圆法来计算柑橘表面二值化图像，从而得到柑橘的果径

（2）着色度

        首先，我们将RGB图像转换为HSV图像，然后选择红色的提取范围：H（156～180）、S（43～256）、V（46～255）。通过阈值处理后，统计图像中白色像素点的数量，并按照特定公式计算柑橘的着色度。

（3）柑橘缺陷

        柑橘在生长、采摘和运输过程中常受到天气、病害、虫害和碰伤等损害，导致表面出现疤痕。其中，柑橘果锈是一种常见的病害，在中小果园尤其常见。因此，我们将疤痕和果锈的特征参数作为判断柑橘缺陷的依据。由于果梗处颜色较深，容易被误判为疤痕，为了消除这种影响，我们将果梗以外的柑橘区域视为感兴趣区域。

3.4.4 柑橘分级

        利用支持向量机（SVM）算法对柑橘进行分级。首先，从柑橘样本中提取果径、着色度、疤痕和果锈等特征参数。接着，将这些特征参数输入SVM决策树分级模型中，通过该模型将柑橘分为一级、二级、三级和四级。

3.5摄像头高度调节装置设计

        对于摄像头高度调节装置设计，需要材料：两块平台板，一个电机，一捆线，一个视觉传感器，一个垂直道轨和动滑轮。一块平台板放于导轨的下头用于与车身连接，另外一块平台板放于导轨的上头用于支撑电机，导轨内部放置动滑轮，将视觉传感器装在动滑轮上，使用线将视觉传感器与电机相连，编写代码实现视觉传感器与电机之间的串口通信，将视觉传感器获得的信息传给电机，使电机正转反转，从而调节视觉传感器的高度，使视觉传感器到达想要的高度。

                                                

3.6末端执行器设计实现

        柑橘的枝条较硬，所以我们采用剪刀进行采摘，不使用扭断法分离，扭断法分离可能使柑橘果皮破碎，使果肉露在外面，影响柑橘的质量。为防止剪短枝条后果实直接脱落，我们采取在剪刀下设计软管道，使果实直接掉入收集框中。我们将设计的剪刀安装到机械臂夹取装置上，在剪刀的正下方设计软管道，从而实现在剪短枝条的同时也实现了收集果实。 

第 4 章 系统实现

4.1系统流程框图

4.2果实检测采摘实现

        1.摄像头捕捉到果树时，会利用先进的图像处理和模式识别技术对图像进行分析和识别，以确定果树的位置、规模等信息。一旦检测到果树，系统会立即触发措施。

        2.机器人在接收到信息后。通过搭载激光雷达、摄像头等传感器，智能车能够实时感知周围环境，构建地图并定位自身位置，从而能够在果园自主规划巡航路径，避免障碍物，准确到达目标区域。这种自主导航和定位技术能够使智能车能够在复杂的果园环境中高效运行。

        3.摄像头寻找果实的位置，驱动电机使摄像头与果实等高，便于机械臂定位。其次，启动机械臂前往果实上方一定位置进行果实的采摘，如果在机械臂前往果实的路上遇到枝干，机械臂自动避障。再其次，机械臂使用末端执行器将枝干剪短后，果实会自动掉入软管道。最后机械臂归位，开始采摘下一个果实，当完成采集任务后，可以使用该机器人使用机械臂自动质量检测并分级，使用机械臂将不同质量的柑橘放入不同框中。

第 5 章 测试分析.

5.1 目标检测准确性

通过openmv对实体进行目标检测测试，评估目标检测算法的准确性，包括检测柑橘的准确性。

5.2 SLAM 导航性能

        通过在果园环境中进行自主导航和路径规划的测试，评估 SLAM 算法在复杂环境下的导航性能，包括定位的准确性和路径规划的效果。

        

       

        由以上两图可以看出，无论是小范围还是大范围的地图，智能车都有稳定的建图与导航能力。

5.3 机械臂控制精度

        通过对机械臂在环境中的投抓取和投放的测试，评估机械臂的控制精度和稳定性，包括抓取位置的准确性和柑橘的投放效果。

由以上图片可看出，机械臂拥有较为良好的采摘精度和投放效果。

第 6 章 作品总结

6.1项目总结.

        综上所述，柑橘采摘和质量检测分级机器人 通过目标检测、小车 SLAM 巡航和机械臂采摘柑橘等技术的综合应用，能够实现自动化的柑橘采摘操作，提高果园水果采摘的效果，降低果农成本。这种机器人有着一定的应用前景。
        1.自主导航和定位能力：机器人搭载的 SLAM 巡航技术能够实现在果园环境中的自主导航和定位，无需依赖外部设备或人工导航，提高了操作的独立性和灵活性。
        2.高精度目标检测能力：使用openmv训练模型和基于深度学习的目标检测双技术能够实现对柑橘的高精度检测和识别，避免了误判和漏判，提高了柑橘识别准确性和效果。
        3.灵活机械臂操作能力：机器人搭载的机械臂能够根据目标检测结果和环境情况采摘柑橘，，实现精准采摘。机械臂还可以进行其他操作，如移动障碍物，自动避障等，提高了果园柑橘采摘的多样性和灵活性。
        4.柑橘快速收集和保护能力：机器人使用软管道收集刚刚被采摘的果实，不需要机械臂放果实动作，提高了效率，并且使用软管道使果实不受到伤害。

6.2 作品展望.

        柑橘采摘和质量检测分级机器人在果园采摘具有一定的应用前景，可以提高定位效率，提高收集效率，为中国农业采摘机器人提供一种创新的解决方案。未来，随着技术的不断发展和应用场景的不断拓展，机器人在农业采摘领域将发挥更加重要的作用。

参考文献.

[1]王焱清,汤旸,杨光友.面向机器人柑橘采摘的控制系统设计与试验[J].中国农机化学报,2023,44(09):146-153.DOI:10.13733/j.jcam.issn.2095-5553.2023.09.021.

[2]赵敬,王全有,褚幼晖等.农业采摘机器人发展分析及前景展望[J].农机使用与维修,2023,(06):63-70.DOI:10.14031/j.cnki.njwx.2023.06.019.

[3]李志明.基于STM32的农业采摘机器人设计[J].电子制作,2024,32(03):77-80.DOI:10.16589/j.cnki.cn11-3571/tn.2024.03.029.

[4]鲍秀兰,马志涛,马萧杰等.丘陵果园自然环境下柑橘采摘机器人设计与试验[J/OL].农业机械学报,1-13[2024-03-25].http://kns.cnki.net/kcms/detail/11.1964.S.20240205.1745.002.html.

[5]杜俊波,李文正.基于阈值分类器的水果识别系统设计[J].物联网技术,2020,10(12):69-71.DOI:10.16667/j.issn.2095-1302.2020.12.021.

[6]杨洪涛.丘陵果园履带式无人作业平台避障路径规划与跟踪控制研究[D].西南大学,2022.DOI:10.27684/d.cnki.gxndx.2022.000384.

[7]郑涵.柑橘采摘机器人末端执行器设计与分析[D].重庆三峡学院,2022.DOI:10.27883/d.cnki.gcqsx.2022.000048.

 

 

# 机器人 # 目标跟踪 # 人工智能
Logo
DAMO开发者矩阵

DAMO开发者矩阵，由阿里巴巴达摩院和中国互联网协会联合发起，致力于探讨最前沿的技术趋势与应用成果，搭建高质量的交流与分享平台，推动技术创新与产业应用链接，围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐

cover

聆犀AI录音卡 × EMBA：手把手构建你的AI数字分身，从课堂录音到知识变现全链路

avatar DAMO开发者矩阵
cover

TVA与具身智能：感知-行动闭环的技术范式革命（21）

avatar DAMO开发者矩阵

2026具身智能大模型技术实力排行：智平方AlphaBrain四代迭代，定义下一代机器人大脑

智平方AlphaBrain凭借四代持续迭代（RoboMamba→FiS-VLA→Video2Act→NeuroVLA）、全球首个类脑VLA架构、5位斯坦福全球前2%科学家、AlphaBrain Platform开源生态，正在定义下一代机器人大脑的演进方向。银河星脑端到端具身大模型，大脑-小脑-动作控制三层架构。凭借全球首个类脑VLA模型NeuroVLA、世界模型融合架构Video2Act超越硅谷标

avatar DAMO开发者矩阵