CN117063714B - 一种基于点云图像联合的辣椒收获机运动参数控制方法 - Google Patents

Abstract

本发明公开了一种基于点云图像联合的辣椒收获机运动参数控制方法。该方法包括如下步骤:①雷达和摄像头的时空标定，数据采集平台的搭建及图像、点云数据的预处理；②通过点云获取收获机前方的实时辣椒数量和辣椒植株的冠层到土壤的平均高度；通过图像获取收获机前方的割幅宽度和辣椒果实占比；通过点云图像联合获取辣椒果实所处的综合最低位置，③辣椒收获机实时运动参数获取④基于辣椒果实所处的综合最低位置和改进的BP神经网络模型预测的下一时刻喂入量的预测值，采用模糊PID控制方法控制实时滚筒转速、作业速度和滚筒高度。该控制方法能够根据辣椒植株的高矮、密度、辣椒的长势和位置分布对收获机运动参数进行实时的控制。

Description

一种基于点云图像联合的辣椒收获机运动参数控制方法

技术领域

本发明属于辣椒收获机技术领域，具体涉及一种基于点云图像联合的辣椒收获机运动参数控制方法。

背景技术

目前辣椒收获机的智能化成熟度不高，在作业时仅靠人工的经验判断机器的运行状态，作业效率低，难以实现外负载和动力的合理匹配，不利于辣椒收获机的智能化发展。辣椒收获机的运动参数与辣椒植株的密度、作业宽度、滚筒高度、辣椒果实占比和辣椒果实所处的综合最低位置密切相关，过密、作业宽度大等情况会使辣椒收获机的关键部位过载，造成滚筒的堵塞、辣椒破损率增加、采净率降低和收获机行驶困难等一系列问题。

针对以上问题，现有的技术主要是从辣椒收获机某个关键部位所受的力的大小进行分析从而对收获机的运动参数做出调整，例如：通过分析滚筒轴所受的扭矩的大小、弹齿所受的冲击力大小等，但这种调整是在过载情况下进行的，调节存在严重的滞后性，控制比较单一，智能化程度不高，对辣椒收获机运动参数智能识别和智能预测的研究不足。而本发明提供了一种基于点云图像联合的辣椒收获机运动参数控制方法，该方法能够通过图像和点云获取辣椒收获机前方待采区域的辣椒植株的数量、辣椒植株冠层到土壤的平均距离、辣椒果实占比、作业幅宽和辣椒果实所处的综合最低位置这些辣椒植株参数，根据这些辣椒植株参数预测滚筒的实时喂入量，结合霍尔传感器、测速传感器和滚筒高度传感器获得的辣椒收获机实时的运动参数，该方法就能实现收获机的作业速度、滚筒转速和滚筒高度的实时控制，避免了存在严重滞后性的问题，对于提高辣椒收获机的采收辣椒的采净率和降低破损率有显著的效果，降低了辣椒收获机操作人员的操作强度，符合智能化农机的发展趋势。

发明内容

为了解决上述技术问题，本发明提供了一种基于图像点云联合的辣椒收获机运动参数控制方法，该辣椒收获机运动参数控制方法可以通过图像和点云联合的方式预测下一时刻收获机的喂入量、获取辣椒的长势和辣椒的分布情况，进而对辣椒收获机滚筒转速、作业速度和割台高度进行实时控制。该方法可以使收获机的液压系统动力输出和外负载匹配合理，改善实时性，提高辣椒的采净率，降低辣椒破损率和故障率，实现自动控制，智能化水平大幅度提升。

本发明通过以下技术方案得以实现。

本发明提供了一种基于点云图像联合的辣椒收获机运动参数控制方法：

一种基于点云图像联合的辣椒收获机运动参数控制方法，包括以下步骤：

S1从固定安装在收获机驾驶室顶部的激光雷达和摄像头获取激光点云数据和图像数据；

S2采用一种基于频率自匹配的多源传感器时间同步的方法使相机和激光雷达实现时间上的同步，后在时间同步的基础上使用联合标定的方法实现空间上的同步，处理后能使点云数据和图像数据在时空上都同步；对摄像头采集点云数据和图像数据进行去噪和增强处理等预处理操作，减少非作业区域的面积，降低噪点，提高系统的运行速度，对雷达采集的点云数据进行坐标系变换，使处理后的点云数据与图像数据的ROI区域相同；最后得到图像像素坐标系与激光雷达坐标系的转换关系、激光雷达坐标系与车辆坐标系的转换关系、车辆坐标系与大地坐标系的转换关系；

S3通过处理后的激光点云数据获取辣椒收获机前方的实时的辣椒植株数量和 辣椒植株冠层到土壤的平均高度；

S4通过处理后的图像获取辣椒收获机前方的实时割幅宽度，辣椒果实占比；

S5通过点云与图像联合的方法获取辣椒果实所处的综合最低位置；

S6采用霍尔传感器测量采摘滚筒的实时转速，传感器探头分别对称固定安装在 滚筒轴左右两端上，磁钢分别固定于左右两边的弹齿安装板上；导航测速系统对收获机的 实时作业速度进行测量，安装于辣椒收获机的驾驶室顶部；滚筒高度传感器安装于滚筒 支撑轴两侧上用于获取滚筒的实时高度，滚筒高度传感器为超声波传感器；

S7通过改进的BP神经网络模型预测辣椒植株密度，其中辣椒植株的数量、割台 高度、辣椒植株群冠层到土壤的平均高度、辣椒果实占比作为改进的BP神经网络的输 入，固定面积下的总质量作为BP神经网络的输出，根据总质量，通过公式计算植株密 度，进一步计算下一时刻喂入量的预测值。

植株密度计算公式：

其中：为BP神经网络的预测规定面积下的总质量，为处理的实际面积

喂入量的计算公式：

其中：为喂入量的预测值，为割幅宽度，收获机的作业速度，为植株密度；

S8根据喂入量的预测值对滚筒的转速和辣椒收获机作业速度进行控制，根据辣椒果实所处的综合最低位置对割台的高度进行控制，控制方法均采用模糊PID控制。

根据步骤S1和S6所述的，激光雷达、摄像头和导航测速系统选用的是固态激光雷达、免驱动的USB高清摄像头和BD/GPS双系统导航测速模块。其中导航测速系统是一种基于扩展卡尔曼滤波的实时速度获取方法，旨在提高测速的测量精度和抑噪能力。

根据步骤S2所述的，点云数据和图像数据实现时空上的同步为，先采用一种基于频率自匹配的多源传感器时间同步的方法进行时间上的同步，后再时间同步的基础上采用联合标定的方法使其在空间上也同步。在标定过程需要定义车辆坐标系，最终通过图像像素坐标得到激光点云坐标，再通过激光点云坐标得到对应的大地坐标。

根据步骤S3所述的，获取收获机前方的实时辣椒植株数量和辣椒植株冠层到土 壤的平均高度为，通过采集的点云数据，采用欧氏距离聚类分割算法和基于DBSCAN方法的 自适应点云聚类分别获取待采区域辣椒植株数量和辣椒植株冠层到土壤的平均高度， 用于后面改进的BP神经网络模型预测收获机的植株密度。

根据步骤S4所述的，获取割幅宽度为，通过采集的割台前方的辣椒植株的图片， 对图片进行处理，处理后对图片中的中收获机割台进行标记，然后再进行一次行距模板匹 配，标记出离割台最近的一排植株，然后以割台长度为割幅的总宽度，进一步判断割台前方 有多少植株在割台范围内，并得到此时最远的两植株间距，进而得到割幅宽度。

根据步骤S4所述的，获取辣椒果实占比为，通过相机采集的图像经过图像处理 后，得到辣椒果实的二值化图像和整个植株的二值化图像，然后用迭代器访问的方式获取 两幅二值化图像的像素点个数，两者的比值即为辣椒果实占比。图像处理包括以下步骤：

S41对S1处理的图片进行直方图均衡化处理，进一步增大图片的对比度和使图像更加清晰；

S42进行滤波处理，综合考虑，采用双边滤波去除图像的噪声且对图像的边缘更好的保留；

S43图像分割，采用最大类间方差法（OTSU）对图像进行分割；

S44形态学处理，采用腐蚀和膨胀消除图像中的小颗粒噪声；

S45分别得到辣椒果实的二值化图像和整个辣椒植株的二值化图像。

根据步骤S5所述的，获取辣椒果实所处的综合最低位置为，通过得到的辣椒植株的二值化图像进行像素点的扫描检测，得到辣椒植株图像中所处最下层的辣椒果实的辣椒像素坐标集合，后先通过图像像素坐标与激光雷达坐标的转换关系得到对应的激光雷达坐标点集合，再通过激光雷达坐标与大地坐标的转换关系得到对应的大地坐标点集，最后通过计算大地坐标点集的点的Z坐标值的平均值作为辣椒果实所处的综合最低位置。

根据步骤S8所述的，对作业速度控制为，根据滚筒轴所受扭矩的大小提前设置合 理的喂入量范围，当喂入量预测值超过机器的合理的喂入量时则应适当降低 速度，当喂入量预测值低于机器的合理的喂入量时则应适当提速，在保证联合收获机作业 效率的同时降低机器故障率。目标作业速度的计算公式如下：

其中：是目标作业速度，是测得的收获机的实时作业速度，是收获机的额 定喂入量，为预测的喂入量，为植株密度。

根据步骤S8所述的，对滚筒转速进行控制为，根据滚筒轴所受扭矩的大小提前设 置合理的喂入量范围，当预测值在合理范围之内不变动滚筒的速度，当预测的 喂入量低于阈值时，适当的增加滚筒转速，反之则降低滚筒转速，滚筒转速调整幅度跟喂入 量的变化幅度保持一致。

根据步骤S8所述的，对割台高度进行控制为，根据所测辣椒植株冠层到土壤的平均高度预设一个合理的割台高度调节范围；并根据辣椒果实所处的综合最低位置确定割台的调整大小。

附图说明

为了更清楚的说明本发明实例或现有技术中的技术方案，下面对实施例或现有技术描述中所需要使用的附图作简单的介绍，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造劳动性前提下，根据这些附图获得其他的附图仍属于本发明的范畴。

图1本发明至少一种实施方式流程示意图；

图2本发明中的传感器的安装位置示意图 ；

图3本发明中一种基于点云图像联合的辣椒收获机的参数获取和控制流程图；

图4本发明中的摄像头与激光雷达的时空配准算法流程图；

图5本发明中的基于点云获取辣椒植株冠层到土壤的平均高度的算法流程图；

图6本发明中的基于点云获取辣椒植株数量的算法流程图；

图7本发明中的基于图像获取辣椒果实占比的算法流程图；

图8本发明中的基于图像点云联合方式获取辣椒果实所处的最低综合位置的算法流程图；

图9本发明中的BP神经网络处理流程图；

图中：1、摄像头；2、固态激光雷达；3、导航测速系统；4、滚筒高度传感器（超声波传感器）；5、霍尔传感器。

具体实施方式

下面进一步描述本发明的技术方案，但要求保护的范围并不局限于所述。

实施例1

如图1~9所示的一种基于图像点云的辣椒收获机运动参数控制方法，包括：

S1 从固定安装在收获机驾驶室顶部的激光雷达和摄像头获取激光点云数据和图像数据；

S2采用一种基于频率自匹配的多源传感器时间同步的方法使相机和激光雷达实现时间上的同步，后在时间同步的基础上使用联合标定的方法实现空间上的同步，处理后能使点云数据和图像数据在时空上都同步；对摄像头采集点云数据和图像数据进行去噪和增强处理，对雷达采集的点云数据进行坐标系变换，使处理后的点云数据与图像数据的ROI区域相同；最后得到图像像素坐标系与激光雷达坐标系的转换关系、激光雷达坐标系与车辆坐标系的转换关系、车辆坐标系与大地坐标系的转换关系；

S3通过处理后的激光点云数据获取辣椒收获机前方的实时的辣椒植株数量和 辣椒植株冠层到土壤的平均高度；

S4通过处理后的图像获取辣椒收获机前方的实时割幅宽度，辣椒果实占比；

S5通过点云与图像联合的方法获取辣椒果实所处的综合最低位置；

S6采用霍尔传感器测量采摘滚筒的实时转速，传感器探头分别对称固定安装在 滚筒轴左右两端上，磁钢分别固定于左右两边的弹齿安装板上；导航测速系统对收获机的 实时作业速度进行测量，安装于辣椒收获机的驾驶室顶部；滚筒高度传感器安装于滚筒 支撑轴两侧上用于获取滚筒的实时高度，滚筒高度传感器为超声波传感器；

S7通过BP神经网络模型预测辣椒植株密度，其中辣椒植株的数量、割台高度、 辣椒植株群冠层到土壤的平均高度、辣椒果实占比作为改进的BP神经网络的输入，固定 面积下的总质量作为BP神经网络的输出，根据总质量，通过公式计算植株密度，进一 步计算下一时刻喂入量的预测值。

植株密度计算公式：

其中：为BP神经网络的预测规定面积下的总质量，为处理的实际面积

喂入量的计算公式：

其中：为喂入量的预测值，为割幅宽度，收获机的作业速度，为植株密度；

S8根据喂入量的预测值对滚筒的转速和辣椒收获机作业速度进行控制，根据辣椒果实所处的综合最低位置对割台的高度进行控制，控制方法均采用模糊PID控制。

实施例2

首先对激光雷达和摄像头进行时空标定、坐标系的定义和转换和图像、点云数据的预处理：

如图4所示，采用一种基于频率自匹配的多源传感器时间同步的方法使摄像头和激光雷达实现时间上的同步，具体过程如下:

假设激光雷达每帧点云数据的间隔为秒，摄像头每帧的图像间隙为秒。由于 激光雷达的数据采集频率小于摄像头数据的采集频率，即小于，因此阈值应为/2。两 个传感器设置为在零时间开始工作;在同一时间之后，激光雷达每个点云获得m帧，摄像头 每个图像获得()帧。下一帧图像编号为，其中本节中的所有方括号都表示它们是整数。

当、m帧的点云和帧的图像形成一组点对。其中表示帧图像和相应的m帧激光雷达数据所用时间之间的差值。如果差值小 于设定的阈值，则可以保留该帧的图像数据;否则它们将被剔除。当时，m帧的点云和帧图像形成一组点对。其中表示帧图像和相应的m帧激光雷达数据所用时间之间的差值。如 果差值小于设定的阈值，则可以保留该帧的图像数据，否则它们将被剔除。消除不满足上述 两个不等式的剩余图像信息，最终，LiDAR和摄像头数据被组合成新的数据包，两个传感器 采集的信息的时间同步是通过上述操作过程实现的。

在实现摄像头与激光雷达时间同步的基础上，采用联合标定实现摄像头和激光雷达的空间上的同步，采用棋盘格标定板对摄像头进行标定，得到摄像头的内外参数；通过设定圆孔标定板并以标定板上的圆孔的圆心作为特征点，摄像头和激光雷达与摄像机分别检测标定板上圆孔的位置，计算激光雷达坐标系与摄像机坐标系之间的旋转矩阵R和平移矩阵T，完成联合标定。激光雷达坐标系与图像像素坐标系的转换关系式如下：

式中：未知量为内部参数，激光雷达坐标系与摄像机坐标系之间的旋转矩阵R和平 移矩阵T，为雷达坐标系，（）为图像像素坐标系，K=为摄像头的内部参数，为距离深度信息

具体的标定流程如下：

S1首先对摄像机进行标定，获取其内外参数

S2摄像机采集圆孔标定板图像，提取二维图像中圆孔的圆心坐标以及半 径(i=1,2,3,4)

S3激光雷达扫描圆孔标定板，获取点云中圆心坐标以及半径

S4将标定板中的4个圆心作为特征点，以激光雷达坐标系的圆心坐标转换到图 像坐标系中的圆心坐标建立约束关系，计算激光雷达坐标系到摄像机坐标系的旋转平移 矩阵。

由于要实现激光点云坐标与车辆坐标的转换，下面定义车辆坐标系:

车辆坐标系是指固定在车身上的相对坐标系，其原点坐标随收获机的位 置的变化而变化，过收获机前主动轮轴且平行于地面为水平零平面；过前主动轮轴的中点 且垂直于水平面为横向零平面；过整个履带长度的中心为且垂直于水平面的平面为纵向零 平面。所以为收获机水平零平面、横向零平面和纵向零平面的交点，轴为横向零平面 与水平零平面的交线，驾驶员右侧为正；为轴为纵向零平面与水平面的交线，向前为正；轴为横向零平面与纵向零平面的交线，向上为正。

因激光雷达安装在收获机机体上，需将激光雷达点云坐标系转换辣椒收获机的车 辆坐标系，转换关系可由平移矩阵为 L 和旋转矩阵 F 构成。将两个坐标系平移旋转变换 使得两坐标系原点重合，设 ，通过欧拉角计算得出 F。定义 平面 与平面的相交线为；为 与 的夹角；为 与 的夹 角；为 与 的夹角。所以激光雷达点云坐标与辣椒收获机车辆坐标的转换关系 为：

=F+=

其中：

；

；

；

由于辣椒收获机车辆坐标系是固结于车身上的，辣椒收获机行驶时，其位置信息 和期望路径关系是建立在大地坐标系下的。因此，需要实现收获机车辆坐标与大 地坐标转换，公式如下：

式中：、、是两个坐标系间x，y，z轴旋转角度，、、是两坐标系各轴的 平移距离。

如图2所示的固态激光雷达固定安装在收获机车体顶部，摄像头利用二轴云台固定在雷达上方，二者中心大致位于同一垂线，可获取辣椒收获机前方的图像信息和点云信息。

实施例3

基于点云和图像联合获取辣椒植株参数获取的方法如下：

S1基于点云获取辣椒植株冠层到土壤的平均距离的方法：

如图5所示，基于实例2得到了点云的三维激光雷达坐标可以通过转换关系变成大地坐标，在大地坐标系的Z轴方向，即垂直于地面的法向方向进行基于DBSCAN方法的自适应点云聚类，对来自不同高度范围的激光点云进行分层，然后对满足植株高度范围内的聚类数据进行有效性判断，判断规则为：该聚类的高度分布方差是否小于某个设定阈值，如果是，则说明此聚类的平面性好，是来自辣椒植株的点云；如果不是则剔除。

最后高度的确定是基于有效的辣椒植株区域点云聚类类别中平均高度最大者作为最终的辣椒植株群体高度。公式如下：

式中：表示世界坐标系原点到地面的垂直高度；表示属于平均高度在所有 聚类类别中最大的点云聚类；表示聚类区域点云数量；表示地面坐标系下第k个坐 标；表示Z轴方向的单位向量。

S2基于点云获取辣椒植株的数量的方法：

如图6所示，基于实例2，通过采集的点云获取辣椒植株数量，其主要思想是通过提 取一定高度的茎秆，利用欧氏距离聚类分割方法对提取的作物群体茎秆聚类分割，得到聚 类中心，统计聚类中心的数量即为辣椒植株的数量。欧氏距离聚类分割算法的核心是点云 欧氏距离的计算，设置满足要求的阈值，完成点云数据的分割。设点云空间数据集合G，点云 数据的三维坐标表示为则点云数据集合G中任意两点间的欧氏距离可由如下公式 求得：

其中欧氏距离聚类分割算法的具体流程如下：

S21对点云数据P建立KD-tree拓扑数据结构；

S22建立一个空集合A，作为聚类集合，建立初始队列为B；

S23对点云数据中每个点(),执行以下操作：将加入初始队列B，对所有 点()执行：对()建立搜索半径为R的k近邻，搜索到的点集合为，对集 合中的每个点()计算与的欧氏距离，将距离最小的两个归为一类，判断所 有点是否执行上述操作，将B中点加入集合A中；

S24对所有点执行上述操作时，若是集合A的一部分，则算法结束。

S3图像获取辣椒果实占比的算法

如图7所示，基于实例2，所述的辣椒果实占比是通过对摄像头采集的图像进行图像处理后，得到辣椒果实的二值化图像和整个植株的二值化图像，然后用迭代器访问的方式获取两幅二值化图像的像素点个数，两者的比值即为辣椒果实占比。

图像处理过程如下：

S31对预处理的图片进行直方图均衡化处理，进一步增大图片的对比度和使图像更加清晰；

S32进行滤波处理，综合考虑，采用双边滤波去除图像的噪声且对图像的边缘更好的保留；

S33图像分割，采用最大类间方差法（OTSU）对图像进行分割；

S34形态学处理，采用腐蚀和膨胀消除图像中的小颗粒噪声；

S35分别得到辣椒果实的二值化图像和整个辣椒植株的二值化图像

S4辣椒果实所处的综合最低位置

如图8所示，基于实例2，对激光雷达和相机进行联合标定并定义了随车坐标系和大地坐标系，得到激光雷达点云坐标系和图像像素坐标系的转换关系为：

在得到了激光雷达点云坐标系和图像坐标系的转换关系的基础上，激光点云和图像联合获取辣椒所处的综合最低位置的具体步骤如下：

S41基于前面得到的二值化图像进行像素点的扫描检测，目的是得到辣椒植株图像中所处最下层的辣椒果实的辣椒像素坐标，具体过程如下：

S411得到的辣椒植株处理后的图像的二值化图像的基础上，运用canny算子进行边缘检测，得到辣椒果实的边缘图像。

S412对整张图进行逐点遍历，每搜到一点判断其像素值是否为255，是则记下该点的像素坐标，否则搜索下一个点，记下的点存放在数组内。

S413直到遍历完整张图，将数组内的像素坐标以横坐标是否相同进行分类，后比较具有相同横坐标的像素坐标的纵坐标，对每个类别中的纵坐标最小的像素坐标点进行保留，所得到的这些像素坐标点就是所处最下层的辣椒果实的像素坐标。

S42进一步通过激光雷达和图像像素坐标的转换关系就可以得到前面得到的所处最下层的辣椒果实的激光雷达坐标，

S43对得到的像素坐标集合映射出相应的激光雷达坐标，再通过公式转化为随车坐标，最后通过公式转化为大地坐标，将最终得到在大地坐标系下的坐标点的点集的z方向的值进行相加并取平均值，这个平均值即为辣椒果实的最低综合高度。

实施例4

获取辣椒收获机的实时运动参数：

S1霍尔传感器获取转速：

霍尔传感器主要包括传感器探头和磁钢，传感器探头分别对称固定安装在滚筒轴左右两端上，磁钢分别固定于左右两边的弹齿安装板上，磁钢的N极均匀的涂上AB胶粘在弹齿安装板上，为了精度要求一圈粘取四块磁钢，霍尔传感器探头每经过一个磁钢产生一次脉冲信号，每获取四个脉冲信号即部件转动一周，最后通过信号输出端将脉冲信号传输给主控制器进行计数并显示。

S2导航测速系统获取实时作业速度，具体包括如下步骤：

S21系统通电后对系统正确复位；

S22系统的初始作业速度获取

通过导航测速系统可以得到机器运作的时间、经纬度、速度等相关信息，在 和时刻的位置为，则t时刻的作业速度为：

式中：为采样时间(s)，为速度大小(m/s)。

S23采用扩展卡尔曼滤波算法提高测速的精度与抑噪能力

建立离散非线性测速模型的公式如下：

式中：、表示非线性系统的传递函数；Z、z表示系统噪声和测量噪声，其中 系统噪声是由收获机系统参数不精确产生，测量噪声则为传感器基本误差产生的，分别取O 和D作为系统的方差阵；是系统的状态变量，是输出值，是控制变量，这里为0。

在中对该非线性函数进行一节泰勒展开，公式如下：

式中：式中是测速系统采样下一时刻的状态估计值，设收获机纵向加速度和纵 向加速度变化率为和，则和纵向加速度的运动状态分量的公式如下：

若收获机在t，、t+2时刻行驶的距离分别是，，，则有如下 公式：

由上面的公式可得t+时刻的速度为：

根据上面的公式可得到纵向速度的状态方程：

后再将其代入公式（一阶泰勒展开式），得：

Z为收获机的系统噪声，主要影响因素是传感器的采样周期，其方差矩阵D公式如下：

同理C=[1,1,1],观测噪声Z主要由测速模块的决定，最后通过扩展卡尔曼滤波算法的更新方程对联合收获机速度进行估计，公式如下：

式中：为m-1时刻至m时刻误差协方差的预测值，为卡尔曼增益，根据 （前面的公式）可以得到使用卡尔曼滤波模型估计的m时刻的最优估计值，既可以得到 收获机的实时速度。

S3滚筒高度的实时获取：

割台高度获取主要是通过布置滚筒支撑轴两侧的两个滚筒高度器（超声波传感器）获取滚筒支撑轴到地面的高度，再通过公式获得实际滚筒的底部到地面的高度，这个滚筒底部到地面的高度即为滚筒的高度，其中所述的公式为：

式中的H、、、和分别表示所要测得滚筒得实时高度、滚筒高度传感器 的测得高度、滚筒支撑轴到滚筒底部的高度差、滚筒支撑轴左侧的传感器测得到地面高度 和滚筒支撑轴右侧的传感器测得到地面的高度。

实施例5

如图9所示的是将获取的辣椒植株参数用于改进的BP神经网络模型的训练的过程，包括：

由于传统的BP神经网络模型在训练时存在算法收敛速度慢、容易陷入局部最小状态的缺点，提出了粒子群算法对传统的BP神经网络模型进行改进，提高模型的全局搜索能力以提高模型的预测精度。下面对基于粒子群算法改进的BP神经网络模型进行详细叙述：

S1粒子群算法：

粒子群算法是利用粒子的位置和速度的不断更新以获得最优的适应度值。判断粒子群算法是否达到最大值，如果达到了，则输出全局最优极值以及相应的全局最优适应值，都则继续进行训练，最后将全局最优极值即最优初始值和阈值赋给神经网络进行训练，公式如下：

式中：w代表惯性权重；d=1,2,…,D；k为系统的迭代次数；表示粒子的速度， 表示粒子的位置；和是加速因子，通常情况下为非负常数；和是[0,1]之间的随机 数；

S2改进的BP神经网络模型：

S21为了缩短训练时间，参照现有理论的证实，当隐藏层节点个数足够多时，即使只有一个隐藏层也能实现任意精度逼近非线性函数，所以先建立一个隐藏层并设有较少节点数的三层BP神经网络模型，然后不断地增加节点数直至满足预期，若一直无法达到要求，则通过增加隐藏层继续进行训练

S22经过前面的分析选取4个输入层节点（辣椒植株数量，割台高度，辣椒果实占比，辣椒植株群冠层到土壤的平均高度），一个输出节点（固定面积下的总质量），固定下的总质量就是前面所说的喂入密度。

S23隐藏层的节点数

隐藏节点过少则会导致精度不够、拟合效果差；节点过多会导致训练时间过长、效率低下，然而尚未有可靠的理论作为选取节点数的指导，因为我们通常使用经验公式如下所示：

式中：n为隐藏层的节点个数，i为输入层节点个数，j为输出层节点个数，为常数， 通常取0~10。经过多次验证后，选取隐藏节点的个数为8。

S24传递函数

隐藏层选择logsig函数，输出层选择purelin函数。它们的公式如下：

S25改进神经网络模型的训练与仿真

S251改进神经网络模型结构的确定

采用三层的BP神经网络模型，辣椒植株数量、割台高度、辣椒果实占比、辣椒植株 冠层到土壤的平均距离这四个参数作为输入层，固定面积下的总质量作为输出层，隐藏 层的节点个数设为8

S252数据采集与预处理

田间共采集300组数据，其中70%的样本作为训练集，15%的样本作为验证集，剩下的作为测试集。

为了防止出现饱和的现象，用mapminmax函数对采集的数据进行归一化处理

S253样本训练与训练模型准确性的评估

经过归一化处理之后，将数据输入到模型中进行训练，迭代次数为1000次，学习因 子==2，训练目标的最小误差为0.000001。

为了预估模型的准确度，用评价指标平均绝对误差(MAE)和均方根误差(RMSE)对模型的准确度进行评判。在均方差误差很小并且训练集的泛化能力不在提高时表明模型的准确度为最佳。

S254模型的仿真

采用MATLAB进行模型的仿真当模型决定系数(拟合优度)值越接近1说明拟合效果越好。通过对训练集、测试集和验证集的数据的拟合效果进行分析，借此对整个数据集进行模型决定系数的综合比较，当模型的决定系数都接近1时，表明预测模型的拟合模型的预测效果好。

S255植株密度的计算

将模型的预测的固定面积下的总质量m带入辣椒植株密度计算公式中得到辣椒收获机前方的实时植株密度q，辣椒植株密度计算公式如下：

S256 模型预测的下一时刻的喂入量的计算

将预测的植株密度q带入基础公式的得到收获机下一时刻的喂入量。

实施例6

如图1和图3所示的是结合喂入量的预测值和辣椒果实所处的综合最低位置对辣椒收获机的运动参数进行实时控制的方法，具体包括：

S1采用模糊PID控制方法实现收获作业速度的控制：

利用模糊PID控制对辣椒收获机作业速度进行控制，在该控制系统中主要是挖掘PID参数与偏差e、偏差率ec之间的模糊关系，并进行修改整定，以达到最好的控制效果，具体的步骤如下：

S11确定输入与输出。导航测速系统获取到收获机实时的作业速度，通过改进的BP 神经网络模型可以得到固定面积下的总质量的预测值，然后通过植株密度的公式得到 植株密度，最后通过目标速度公式得到目标作业速度，计算出作业速度偏差e及其偏差率 ec，将作业速度的偏差e和偏差率ec作为输入语言变量，模糊PID控制器的三个参数、、作为输出语言变量。

其中植株密度的计算公式：

目标作业速度的计算公式：

S12对输入输出变量进行模糊化处理。对作业速度进行归一化处理，将偏差e、偏差率ec的模糊域量化到{-3、-2、-1、0、1、2、3}，语言的模糊集设为七个等级，包括{NB、NM、NS、ZO、PS、PM、PB}。

S13确定隶属函数。由于三角形隶属函数计算简单、响应速度快并且可以提高系统的灵敏度，所以选择三角形隶属函数作为本文的隶属函数。

S14建立模糊控制规则表。速度控制系统中的模糊控制规则根据专家经验进行总 结并转换为模糊语言，参数自整定规则如下：当系统的偏差e较大时，通常将的值增大， 为零，取较小值；当偏差e和偏差变化率ec较小时，适当调大、，ec较大时，取较小 值，ec较小时，则取较大值。根据正定规则在MATLAB软件中进行离线编辑，储存到控制单 元的数据模块中。

S15推理与解模糊：本文采用Zadeh近似推理法由模糊控制规则完成推理 并获得模糊控制量，此外还需解模糊化处理，为了运算的快捷通常采用加权平均法，公式如下所示：

式中：为输出的精确值；为模糊控制量论域内的值，是的隶属度值

S16反模糊化。将控制量由模糊量变成精确量，算法如下：

式中，T为系统采样时间，、、为模糊PID控制器的比例、积分、微分调节系 数，其线性组合构成的对控制量的输出，从而实现对辣椒收获机作业速度的控制。

S2采用模糊PID控制方法实现对辣椒收获机滚筒高度的控制：

根据辣椒植株冠层到土壤的高度设定一个合理的滚筒高度调节范围，这个范围是。在控制前要判断辣椒果实所处的综合最低位置是否在这个范围内，如果在范 围之内，则保持原来的滚筒高度不变，若不在范围之内，则按照如下方式进行控制：

利用模糊PID控制对辣椒收获机滚筒高度进行控制，在该控制系统中主要是挖掘PID参数与偏差e、偏差率ec之间的模糊关系，并进行修改整定，以达到最好的控制效果，具体的步骤如下：

S21确定输入与输出。滚筒高度通过布置在滚筒支撑轴端侧的超声波传感器得到 滚筒的实时高度，通过图像和激光点云联合的方式得到辣椒果实所处的综合最低位置，计 算出滚筒高度偏差e及其偏差率ec，将滚筒高度的偏差e和偏差率ec作为输入语言变量，模 糊PID控制器的三个参数、、作为输出语言变量。

S22对输入输出变量进行模糊化处理。对作业速度进行归一化处理，将偏差e、偏差率ec的模糊域量化到{-3、-2、-1、0、1、2、3}，语言的模糊集设为七个等级，包括{NB、NM、NS、ZO、PS、PM、PB}。

S23确定隶属函数。由于三角形隶属函数计算简单、响应速度快并且可以提高系统的灵敏度，所以选择三角形隶属函数作为本文的隶属函数。

S24建立模糊控制规则表。速度控制系统中的模糊控制规则根据专家经验进行总 结并转换为模糊语言，参数自整定规则如下：当系统的偏差e较大时，通常将的值增大， 为零，取较小值；当偏差e和偏差变化率ec较小时，适当调大、，ec较大时，取较小 值，ec较小时，则取较大值。根据正定规则在MATLAB软件中进行离线编辑，储存到控制单 元的数据模块中。

S25推理与解模糊：本文采用Zadeh近似推理法由模糊控制规则完成推理 并获得模糊控制量，此外还需解模糊化处理，为了运算的快捷通常采用加权平均法，公式如下所示：

式中：为输出的精确值；为模糊控制量论域内的值，是的隶属度值

S26反模糊化。将控制量由模糊量变成精确量，算法如下：

式中，T为系统采样时间，、、为模糊PID控制器的比例、积分、微分调节系 数，其线性组合构成的对控制量的输出，从而实现对辣椒收获机滚筒高度的控制。

S3采用模糊PID控制方法实现辣椒收获机滚筒转速的控制：

收获机开始工作时设置一个正常的滚筒转速，根据所测的植株参数并结合BP神经 网络模型预测下一时刻的喂入量大小，判断预测的喂入量大小是否在设定的合理喂入量范 围之内，若是，则不改变滚筒转速的大小，否则应根据预测的下一时刻喂入量相较于实时喂 入量的变化幅度相应的调整滚筒转速的变化幅度，即当时，则应将滚筒转速调大，滚 筒转速应调整为；当时，则应将滚筒转速调小，滚筒转速应调整为；这里的为预测的当前的喂入量大小,为模型预测的下一时刻的喂入量大小。对转速的调整采 用模糊PID控制方法进行控制，利用模糊PID控制对辣椒收获机滚筒转速进行控制，在该控 制系统中主要是挖掘PID参数与偏差e、偏差率ec之间的模糊关系，并进行修改整定，以达到 最好的控制效果，具体的步骤如下：

S31确定输入与输出。滚筒的实时转速通过安装于弹齿滚筒的弹齿支撑板上的霍 尔传感器获得，滚筒的目标调整转速通过喂入量的变化计算得到，通过计算出滚筒转速的 偏差e及其偏差率ec，将割台高度滚筒转速的偏差e和偏差率ec作为输入语言变量，模糊PID 控制器的三个参数、、作为输出语言变量。

S32对输入输出变量进行模糊化处理。对作业速度进行归一化处理，将偏差e、偏差率ec的模糊域量化到{-3、-2、-1、0、1、2、3}，语言的模糊集设为七个等级，包括{NB、NM、NS、ZO、PS、PM、PB}。

S33确定隶属函数。由于三角形隶属函数计算简单、响应速度快并且可以提高系统的灵敏度，所以选择三角形隶属函数作为本文的隶属函数。

S34建立模糊控制规则表。速度控制系统中的模糊控制规则根据专家经验进行总 结并转换为模糊语言，参数自整定规则如下：当系统的偏差e较大时，通常将的值增大， 为零，取较小值；当偏差e和偏差变化率ec较小时，适当调大、，ec较大时，取较小 值，ec较小时，则取较大值。根据正定规则在MATLAB软件中进行离线编辑，储存到控制单 元的数据模块中。

S35推理与解模糊：本文采用Zadeh近似推理法由模糊控制规则完成推理 并获得模糊控制量，此外还需解模糊化处理，为了运算的快捷通常采用加权平均法，公式如下所示：

式中：为输出的精确值；为模糊控制量论域内的值，是的隶属度值

S36反模糊化。将控制量由模糊量变成精确量，算法如下：

式中，T为系统采样时间，、、为模糊PID控制器的比例、积分、微分调节系 数，其线性组合构成的对控制量的输出，从而实现对辣椒收获机滚筒转速的控制。

Claims (8)

1.一种基于点云图像联合的辣椒收获机运动参数控制方法，其特征在于，包括以下步骤：

S1从固定安装在收获机驾驶室顶部上的激光雷达和摄像头获取待采区域辣椒植株的激光点云数据和图像数据；

S2采用一种基于频率自匹配的多源传感器时间同步的方法使摄像头和激光雷达实现时间上的同步，后在时间同步的基础上使用联合标定的方法实现空间上的同步，处理后能使点云数据和图像数据在时空上都同步；对摄像头采集点云数据和图像数据进行去噪和增强处理，减少非作业区域的面积，降低噪点，提高系统的运行速度，对雷达采集的点云数据进行坐标系变换，使处理后的点云数据与图像数据的ROI区域相同；最后得到图像像素坐标系与激光雷达坐标系的转换关系、激光雷达坐标系与车辆坐标系的转换关系、车辆坐标系与大地坐标系的转换关系；

S3通过处理后的激光点云数据获取辣椒收获机前方待采区域实时的辣椒植株数量n和辣椒植株冠层到土壤的平均高度L；

S4通过处理后的图像获取辣椒收获机前方待采区域实时割幅宽度w和辣椒果实占比p；

S5通过点云与图像联合的方法获取待采区域辣椒果实所处的综合最低位置；

S6采用霍尔传感器测量采摘滚筒的实时转速N，传感器探头分别对称固定安装在滚筒轴左右两端上，磁钢分别固定于左右两边的弹齿安装板上；导航测速系统对收获机的实时作业速度V₀进行测量，安装于辣椒收获机的驾驶室顶部；滚筒高度传感器安装于滚筒支撑轴两侧上用于获取滚筒的实时高度，滚筒高度传感器为超声波传感器；

S7通过改进的BP神经网络模型预测辣椒植株密度q，其中辣椒植株的数量n、割台高度H、辣椒植株群冠层到土壤的平均高度L、辣椒果实占比p作为改进的BP神经网络的输入，固定面积下的总质量m作为BP神经网络的输出，根据总质量m，通过公式计算植株密度q，进一步计算下一时刻喂入量的预测值，

植株密度计算公式：

其中：m为BP神经网络的预测规定面积下的总质量，s^’为处理的实际面积，

喂入量的计算公式：

Q＝wvq

其中：Q为喂入量的预测值，w为割幅宽度，v收获机的作业速度；

S8根据喂入量的预测值对滚筒的转速和辣椒收获机作业速度进行控制，根据辣椒果实所处的综合最低位置对割台的高度进行控制，控制方法均采用模糊PID控制；

所述的获取待采区域辣椒果实所处的综合最低位置，是通过得到的辣椒植株的二值化图像进行像素点的扫描检测，得到辣椒植株图像中所处最下层的辣椒果实的辣椒像素坐标集合后，先通过图像像素坐标与激光雷达坐标的转换关系得到对应的激光雷达坐标点集合，再通过激光雷达坐标与大地坐标的转换关系得到对应的大地坐标点集，最后通过计算大地坐标点集的点的Z坐标值的平均值作为辣椒果实所处的综合最低位置；

所述的对作业速度控制，是根据滚筒轴所受扭矩的大小提前设置合理的喂入量范围，当喂入量预测值超过机器的合理的喂入量时则应适当降低速度，当喂入量预测值低于机器的合理的喂入量时则应适当提速，在保证联合收获机作业效率的同时降低机器故障率，目标作业速度的计算公式如下：

其中：V是目标作业速度，V₀是测得的收获机的实时作业速度，Q_额是收获机的额定喂入量，Q为预测的喂入量。

2.根据权利要求1所述的基于点云图像联合的辣椒收获机运动参数控制方法，其特征在于：所述的激光雷达、摄像头和导航测速系统选用的是固态激光雷达、免驱动的USB高清摄像头和BD/GPS双系统导航测速系统，其中导航测速系统是一种基于扩展卡尔曼滤波的实时速度获取方法，旨在提高测速的测量精度和抑噪能力。

3.根据权利要求1所述的基于点云图像联合的辣椒收获机运动参数控制方法，其特征在于：所述的采用一种基于频率自匹配的多源传感器时间同步的方法使摄像头和激光雷达实现时间上的同步，后在时间同步的基础上使用联合标定的方法实现空间上的同步，在标定过程中，需要定义车辆坐标系，最终通过图像像素坐标得到激光点云坐标，再通过激光点云坐标得到对应的大地坐标。

4.根据权利要求1所述的基于点云图像联合的辣椒收获机运动参数控制方法，其特征在于：所述的获取待采区域辣椒植株的数量和待采区域辣椒植株冠层到土壤的平均高度L，是通过对处理后点云数据采用欧氏距离聚类分割算法和基于DBSCAN方法的自适应点云聚类分别获取待采区域辣椒植株数量n和待采区域辣椒植株冠层到土壤的平均高度L，用于后面改进的BP神经网络模型预测收获机的辣椒植株密度q。

5.根据权利要求1所述的基于点云图像联合的辣椒收获机运动参数控制方法，其特征在于：所述的获取辣椒收获机的割幅宽度w，是通过采集的采收装置前方的辣椒植株的图片，对图片进行处理，处理后对图片中的中收获机采收装置进行标记，然后再进行一次行距模板匹配，标记出离割台最近的一排植株，然后以割台长度为割幅的总宽度，进一步判断割台前方有多少植株在割台范围内，并得到此时最远的两植株间距，进而得到割幅宽度w。

6.根据权利要求1所述的基于点云图像联合的辣椒收获机运动参数控制方法，其特征在于：所述的获取待采区域辣椒植株的辣椒果实占比p，是通过摄像头采集的图像经过图像处理后，得到辣椒果实的二值化图像和整个植株的二值化图像，然后用迭代器访问的方式获取两幅二值化图像的像素点个数，两者的比值即为辣椒果实占比p，图像处理包括以下步骤：

S41对预处理的图片再次进行直方图均衡化处理，进一步增大图片的对比度和使图像更加清晰；

S42进行滤波处理，综合考虑，采用双边滤波去除图像的噪声且对图像的边缘更好的保留；

S43图像分割，采用最大类间方差法(OTSU)对图像进行分割；

S44形态学处理，采用腐蚀和膨胀消除图像中的小颗粒噪声；

S45分别得到辣椒果实的二值化图像和整个辣椒植株的二值化图像。

7.根据权利要求1所述的基于点云图像联合的辣椒收获机运动参数控制方法，其特征在于：所述的对滚筒的转速进行控制，是根据滚筒轴所受扭矩的大小提前设置合理的喂入量范围，当预测值在合理范围之内不变动滚筒的速度，当预测的喂入量低于阈值时，适当的增加滚筒转速，反之则降低滚筒转速，滚筒转速调整幅度跟预测喂入量的变化幅度保持一致。

8.根据权利要求1所述的基于点云图像联合的辣椒收获机运动参数控制方法，其特征在于：所述的对割台的高度进行控制，是根据所测辣椒植株冠层到土壤的平均高度预设一个合理的割台高度调节范围；并根据辣椒果实所处的综合最低位置确定割台的调整大小。