2. 国际农业航空施药技术联合实验室/农业航空应用技术国际联合实验室/广东省农业航空应用工程技术研究中心,广东 广州 510642;
3. 华南农业大学 工程学院,广东 广州 510642
2. International Laboratory of Agricultural Aviation Pesticide Spraying Technology/International Laboratory of Agriculture Aviation Applied Technology/Engineering Research Center for Agricultural Aviation Application of Guangdong Province, Guangzhou 510642, China;
3. College of Engineering, South China Agricultural University, Guangzhou 510642, China
精准喷雾是精准农业航空在化肥农药减施作业中的主要内容,对节约成本,减少环境污染具有重要意义[1]。随着数字图像处理技术的发展,将图像识别和分类技术应用到植保无人机的精准喷雾系统中,为化肥农药减施目标的实现提供策略支持将具有独特的优势和良好的应用前景。支持向量机(Support vector machine, SVM)是一种基于统计学习理论的模式识别方法,在解决小样本、非线性和高维模式识别问题中表现出许多特有的优势[2],特别是在手写体识别、人脸检测、文本分类等领域已被研究者广泛使用。朱家元等[3]提出了一种基于优化最小二乘支持向量机的方法,用于小样本预测的研究。张红等[4]提出了一种基于支持向量机的目标图像识别方法,针对太空目标图像对其算法进行了检验。田有文等[5]利用支持向量机,应用形状、颜色和纹理不同特征组合对葡萄病害进行了图像识别研究,应用色度矩特征对黄瓜病害进行了图像识别研究。何强[6]利用线性组合核函数的支持向量机在嵌入式图像识别中获得了良好的实时性效果。谢旻旻[7]在无人机降落地点的智能障碍的研究中使用了支持向量机做障碍和背景的分类处理手段,完成对障碍图像的准确识别。Camargo等[8]利用支持向量机研究了基于52个特征参数的植物病害图像识别问题,得到了最优识别率。但是,基于支持向量机图像识别的无人机精准喷雾系统的研究鲜见报道。
由于人为或自然因素造成农田作物空缺是农作物种植与管理阶段常见问题,比如作物播种不均匀,漏播,病虫害侵袭导致作物成片坏死,水灾、台风等自然因素导致作物空缺,特别是在岭南地区此种现象更是常见。本研究旨在利用图像处理技术对无人机航拍田间图像进行图像预处理、区域分割以及相关特征提取,以特征参数向量作为支持向量机的输入项对作物区与无作物空块区进行分类识别研究,利用逐步判别法对每一个特征参数进行贡献度检验,以便优选出有效特征组合,得到最优分类模型,将此模型移植到嵌入式喷雾系统,以达到减施效果,为植保无人机的精准喷施作业提供参考方向和决策支持。
1 系统设计和算法的实现 1.1 系统设计基于图像识别的无人机(Unmanned aerial vehicle,UAV)精准喷雾控制系统主要内容包括图像获取、图像预处理、特征提取、图像识别并给出控制信号4个部分。在预处理阶段,系统通过中值滤波、分割等对图像进行初步处理,使之成为易于识别和处理的图像;在特征提取部分,系统对图像进行抽象化,将目标提取出来,为后续的识别和定位奠定基础;在图像识别阶段,系统基于仿真建立的SVM模型,将图像的特征参数输入SVM中,得出识别结果,即输出数据,并根据此数据对喷头采取喷雾措施。系统整体架构如图 1所示。
![]() |
图 1 UAV精准喷雾控制系统整体架构图 Figure 1 The overall structure of the UAV precision spray control system |
基于图像识别的UAV精准喷雾控制系统的设计主要按SVM图像识别算法仿真建立预测模型、算法移植、精准喷雾控制3个步骤实现[9-10],整体流程框架如图 2所示。
![]() |
图 2 UAV精准喷雾控制系统整体工作流程框架 Figure 2 The overall frame for the workflow of the UAV precision spray control system |
系统的硬件平台主要由图像采集模块、图像处理模块、外扩存储器模块、喷雾控制模块等组成(图 3)。图像处理模块采用C6000系列DSP芯片TMS320DM642, 该芯片采用TI公司第2代高性能超长指令集VelociTI,并行架构下,每个时钟周期最高可执行8条32位指令。在工作频率为720 MHz时,具备5 760 MIPS的峰值处理能力,本文TMS320DM642的工作主频通过内部的倍频器设置为600 MHz,性能达到4 800 MIPS。
![]() |
图 3 UAV精准喷雾控制系统硬件框图 Figure 3 The hardware frame of the UAV precision spray control system |
系统具体的工作过程描述如下:系统上电或复位后将应用程序从Flash加载到DSP内部RAM中,并完成TMS320DM642处理器自身以及外围设备的初始化。启动图像采集模块,从SJ9000型摄像机获得的复合视频广播信号模拟图像经视频解码芯片处理后,输出BT.656格式的数字视频流,送入视频口VP0中进行译码,获得有效的图像数据。通过增强型直接内存存取EDMA方式将图像数据传送到由外部存储器接口EMIF扩展的外部SDRAM中存放;将SDRAM中的图像数据读入DSP的片上Cache中,对图像进行处理,获得当前的图像识别结果;根据识别结果,通过I/O口控制电磁继电器实现对喷头的开启/关闭控制。
1.2 系统算法实现 1.2.1 图像分割技术无人机航拍的田间图像由水稻作物区和空块组成,图像分割是将空块区域从图像中分割出来,以便进行有效特征的提取,在图像分割前采用中值滤波算法去噪。传统的边缘检测算法,如Canny算子、Sobel算子及Robert算子等提取的边缘很粗,无法得到精确边缘像素。因此,本文采用分层K_means硬聚类算法实现对农田航拍图像的分割。经典的K_means算法基本思想是:以空间中k个点为中心进行聚类,对最靠近他们的对象归类。通过迭代的方法,逐次更新各聚类中心的值,直至得到最好的聚类结果[11-13]。本文完整的算法实现步骤如下:
1) 初始化距离2个聚类的质心(随机产生);
2) 计算所有数据样本与每个质心的欧氏距离,将数据样本加入与其欧氏距离最短的那个质心的簇中(记录其数据样本的编号);
3) 计算现在每个簇的质心,进行更新,判断新质心是否与原质心相等,若相等,则迭代结束,若不相等,回到步骤“2)”继续迭代。
1.2.2 图像特征提取本研究从无人机航拍的田间图像上提取了颜色和纹理2个特征空间的共22个特征参数,作为后续分类识别的待选特征参数,包括9个颜色特征参数和13个纹理特征参数。
1) 基于颜色炬的颜色特征提取:颜色矩是一种有效的颜色特征,图像有用信息一般集中在低阶矩中[14]。本研究利用田间图像的RGB模型的R、G、B分量灰度值的前3阶矩作为特征参数。R、G和B灰度值是绝对颜色特征参数。
R、G、B的前3阶矩依次指图像中空块区域的颜色平均值(μ)、平方差值(σ2)和立方差值(ε3),计算公式分别为:
![]() |
(1) |
![]() |
(2) |
![]() |
(3) |
式中,p表示空块区域总像素,fj表示空块区域内的任意坐标,p(fj)表示fj点的颜色值。
2) 基于灰度共生矩阵的纹理特征提取:灰度共生矩阵是分析纹理特征的一种有效方法[15]。在农田航拍图像中,由于空块图像的纹理不同于背景图像的纹理,因此需要对空块图像的纹理特征进行准确提取。本研究将提取5个纹理特征,包括RGB模型各分量灰度共生矩的对比度、相关性、能量、同质性以及维度,灰度共生矩各个特征参数计算值为0°、45°、90°和135°共4个方向计算值的平均值, 这4个方向分别是水平、垂直、对角线、反对角线。
1.2.3 SVM图像分类识别模型的建立SVM是从线性可分情况下的最优分类面发展而来的,被认为是目前针对小样本统计估计和预测学习的最佳理论。在线性可分的情况下,总是存在1个超平面使得2类训练样本完全分开。最优超平面要求分类线不但能将2类样本无错误地分开,而且要使分类间隔最大。过各类样本中离最优超平面最近的点且平行于最优超平面直线上的训练样本点称作支持向量[16-17]。
本文中假设农田航拍图像中空块图像特征的数目较大,则可以通过二次规划的方法来求出相应的最优农田空块图像分类函数:
![]() |
(5) |
式中,sgn为符号函数,a*=(a1*, …, an*)为拉格朗日乘子,b*为图像分类的阀值。
利用下述公式能够描述农田航拍图像中空块图像的最优分类函数:
![]() |
(6) |
式中,K为核函数。经多次试验验证径向基核函数在处理本文样本效果最好,因此本文将选取径向基核函数作为核函数,其计算公式如下:
![]() |
(7) |
基于SVM的农田航拍图像识别的具体过程如下所述:
1) 归一化处理。为了加快训练数据的收敛速度,且保证原始数据信息的完整度,需要将训练集和测试集放在一起并对每1个维度进行归一化处理,本文设定在[-1, 1]区间内进行概率分布统计。
2) 降维处理。对于多特征参数的农田空块图像需要进行降维处理。降维方法很多,本文采用主成分分析(Principal component analysis, PCA)函数对训练集和测试集降维。
3) SVM相关参数的寻优选择。由于图像的分类效果会受到核函数以及c、g等参数的影响,因此,为了获取准确的分类效果,本文采用遗传算法(Genetic algorithm, GA)函数对相关参数进行寻优选择。
4) 分类识别。通过上述过程的处理,对农田空块图像的样本进行分类识别。
5) 特征参数优选。在SVM分类识别的过程中,分类识别的效果依赖于农田图像特征参数的选择。因此,在识别的过程中通过逐步判别法对参数进行检验,并选出最优的特征参数将其组合,最后获得最优的分类识别效果。
在本研究中,选取80幅航拍图像作为数据源,其中随机选定了60幅图像作为训练样本,其余20幅作为测试样本,对每幅图像进行预处理、分割和特征提取,利用单一特征参数、不同特征空间的参数组合和22个特征参数总组合分别作为SVM的输入项进行分类,并利用逐步判别法对每1个特征参数进行贡献度检验,以选出最优特征参数组合,实现农田空块图像的的识别,得出最优识别率。
1.2.5 算法优化算法的代码优化主要通过运用正确的关键字定义各变量、正确使用定义的指针及使用逻辑移位运算代替乘除运算3个方面体现[18-19]。在数据处理方式优化方面,对于图像识别来说,由于图像的灰度值范围是0~255,因此可以直接使用灰度值作为支持向量机的输入向量,而不需要转换。而凸二次规划求解的过程中,惩罚因子c和拉格朗日系数α为浮点数,在计算的过程中需要转化为整数进行计算。由于浮点数转化为整数时,丢弃了一定小数位数,会造成精度上的损失,但却提高了运算速度。
2 田间试验 2.1 试验数据的获取试验地点位于广东省广州市天河区华南农业大学农学院教学科研基地,试验采用的无人机是天际X500型电动四轴无人机。该无人机的续航时间约10 min,载质量1.5 kg,搭载有自稳定云台,数字图传与山狗SJ9000型4 k摄像机。该摄像机是COMS感光元件相机,光圈2.0,图像格式为JPEG,24位图。摄像头采集的视频图像为576×720像素,本研究对采集的视频图像隔点采样,即处理288×360像素的图像帧。拍摄时,相机的镜头始终保持垂直向下, 时间是适合水稻施药作业的上午9点前和下午3点后,天气状况良好。
2.2 基于SVM的图像分类识别仿真试验本试验在MATLAB8.0中借助libsvm-3.1工具箱,以默认的径向基函数作为核函数,利用上述方法对60幅测试样本图像进行训练,得到分类超平面的模型,并用此模型重新对60幅训练样本及另外20幅测试样本进行颜色特征和纹理特征的识别。其中,以单一特征参数作为输入项得到的识别率记为单一识别率,以特征参数组合作为输入项得到的识别率记为组合识别率,颜色和纹理各自的所有特征参数作为输入项的识别率记为总识别率。
2.3 精准喷雾控制试验将SVM移植到嵌入式系统时,首先将PC机上训练后的支持向量和最优c、g参数保存在TMS320DM642开发板的内存中,然后利用支持向量机的判决函数,对农田航拍图像进行识别。定义系统响应时间为单幅目标图像输入本系统时起,经过预处理、特征提取、图像识别到电磁继电器响应的总时间。
本试验选择静电离心式喷头, 供水量100~1 500 mL·min-1,雾化喷幅1.2~1.5 m,实物如图 4所示,该喷头雾粒细且均匀,带防滴功能。
![]() |
图 4 静电离心式喷头 Figure 4 Electrostatic centrifugal nozzle |
喷雾试验中,在无人机两端间距(l)为1.5 m的位置安装2个静电离心式喷头,相机挂载在2个喷头中间,拍摄频率10帧·s-1,由于所选喷头的喷雾粒径(直径为50~200 μm)极细,因此可以忽略喷雾造成的雾化现象对图像质量的影响。无人机定高飞行,距离农作物高度(h)为1.5 m,通过调焦使无人机的拍摄范围直径(d)为3 m,基本覆盖喷雾范围。喷雾试验示意图如图 5所示。
![]() |
图 5 喷雾试验示意图 Figure 5 The schematic of spray test |
试验场地规划的无人机飞行路径如图 6蓝线所示,飞行速度3.0~3.5 m·s-1。
![]() |
图 6 无人机飞行路径 Figure 6 UAV flight path |
定义系统识别出空块面积(Sv)占整幅图像面积(Sall)的比例为P, 则P的计算式为
![]() |
(8) |
试验时,无人机处于前进状态,逐渐靠近空块区域时,P处于积分状态,当不小于设定的阀值P阀时关闭喷头,停止喷雾;远离空块区域时,P逐渐减少,当P小于P阀时开启喷头,继续喷雾。定义减施率(Reduce fertilize percentage,RFP)为减少喷施的时间(Tr)与无人机飞行总时间(Ta)的百分比,计算公式为
![]() |
(9) |
式中,To为开启喷雾总时间。
3 结果与分析 3.1 无人机飞行参数通过机载GPS模块采样记录无人机的飞行参数并绘制曲线图如图 7所示,其中无人机飞行高度参数曲线如图 7A所示,飞行速度参数曲线如图 7B所示。
![]() |
图 7 无人机飞行参数 Figure 7 UAV flight parameters |
由图 7A、7B可知,采样过程中,当采样次数 < 50或者>350时, 飞行高度均低于2.5 m,飞行速度均低于3.0 m·s-1,此时,无人机处于起飞和降落状态;当350>采样次数>50时,无人机的飞行高度2.5~4.0 m。整个试验过程无人机的飞行高度均低于4.0 m,因此可以忽略大气对航拍质量的影响。图 7B中,当采样次数约为115和215时,曲线出现波谷,此时无人机处于偏航状态,速度降低。在其他采样点,无人机的飞行速度基本维持在3.5~5.0 m·s-1。
3.2 图像分割预处理试验结果采集的样本图像经中值滤波法去噪,再利用K_means硬聚类算法对图像进行分割,取其中一幅图像的分割结果如图 8所示。
![]() |
图 8 农田航拍图像的分割 Figure 8 Segmentation of farmland aerial image |
从分割结果可以看出, K_means硬聚类算法能够较为准确地将空块区域从图像中分割出来,效果比较理想, 分割精度较高,得到的分割图像可用于后续的图像特征提取。
3.3 基于SVM的图像分类识别仿真试验结果SVM图像分类识别的颜色特征和纹理特征结果分别如表 1和表 2所示。表中数值表示60幅训练样本识别率与20幅测试样本识别率的比值,若比值大于1,表示此特征参数有正贡献度;若等于1,则没有贡献度;若小于1,则有负贡献度。
![]() |
表 1 农田航拍图像颜色特征识别优选结果1) Table 1 Preferred results for recognition in color features of farmland aerial images |
![]() |
表 2 农田航拍图像纹理特征识别优选结果1) Table 2 Preferred results for recognition in texture features of farmland aerial images |
识别结果表明:每个单一特征的识别率不同,而且不同的特征参数组合的识别率也不相同。对识别结果有负贡献度的特征参数为5个,包括颜色特征参数的G分量一阶矩和B分量二阶矩,纹理特征参数的R分量相关性和同质性以及B分量的能量,在组合识别率时这5个特征参数不作为SVM的输入项。颜色特征组合中三阶矩的识别效果最好,纹理特征组合中相关性的识别效果最好。
利用识别结果表中有正贡献度的17个最优特征参数作为SVM的输入项,并训练样本得到最优超平面如图 9所示。由图 9可知,中间的浅绿线即为所得最优超平面,该超平面能够将类1和类2无错误地分类,可以使识别效果最理想化。
![]() |
图 9 训练后的最优超平面 Figure 9 Optimal hyper plane after training |
利用SVM对20幅测试样本进行预测,并采用GA函数对参数c、g进行寻优,得到如图 10所示的识别率曲线图。结果表明SVM所寻的最优参数为:c=52.41,g=11.095 5。当算法进化至第100代时,终止进化。从20代以后,随着进化代数的增长,测试样本的最佳识别率保持稳定,达到了76.56%,平均识别率也基本维持在72%左右,效果较好。
![]() |
图 10 17个最优特征参数作为SVM输入项的图像识别曲线图 Figure 10 The graph of SVM recognized image after inputting 17 optimal parameters 最优参数:c=52.41,g=11.095 5。 |
在使用无人机进行精准喷雾控制试验前系统对80幅图像的测试,得到系统的平均响应时间约为200 ms,能满足实时性的需求。精准喷雾控制试验中首次设定P阀为10%,然后以10个百分点递增分别进行4次喷雾测试,记录每次试验无人机飞行时间Ta、关闭喷头次数N、开启喷雾总时间To及减施率RFP。测试结果如表 3所示。
![]() |
表 3 喷雾试验结果 Table 3 Spray test result |
由表 3可以得知:当P阀为10%时,减施率可达32.7%,随着P阀的递增,减施率逐渐减小,这是由于系统识别出空块并控制喷头关闭的次数减少,系统更大程度地忽略小面积空块对系统喷雾的影响;减施率高并不意味着喷雾效果好,由于相应的P阀越小,关闭喷头的概率就越大,作物区漏喷的概率也越大,因此,P阀应结合田间具体状况来选择;本文方法与传统无图像识别方法相比,减施效果明显。
4 结论本文通过对神经网络领域支持向量机的的应用分析,提出一种基于图像识别的UAV精准喷雾控制系统,经试验验证,得出如下结论:
1) 利用基于K_means硬聚类算法的图像分割方法实现了农田航拍图像的空块区域的分割,得到了空块区域的二值分割图像和彩色分割图像,较为准确地将空块区域从图像中分割出来,分割效果比较理想,分割精度较高。
2) 提取了农田航拍图像的颜色和纹理空间的22个特征参数,并设计了SVM分类器,利用提取的特征参数作为SVM的输入项对航拍图像做分类识别,并利用逐步判别法对所有特征参数进行了贡献度检验,优选出17个最优特征参数。将17个最优特征参数作为SVM的输入项训练得到最优超平面,此超平面对20幅测试样本的最优识别率达到了76.56%。
3) 将本文最优识别模型应用到精准喷雾控制系统中,与传统无图像识别方法相比,减施效果明显。
利用本文方法对无人机航拍的农田空块图像进行仿真识别,能够提高识别的准确率,为精准航空精准喷雾控制技术的应用提供了参考方向和决策支持。未来可深入探讨阀值P最优值的获取,这也是本研究下一步要做的工作。
[1] |
张驰. 美国飞机植保与农业航空应用技术的发展[J]. 时代农机, 2015, 42(7): 168-169. ( ![]() |
[2] |
张学工. 关于统计学习理论与支持向量机[J]. 自动化学报, 2000, 26(1): 32-42. ( ![]() |
[3] |
朱家元, 杨云, 张恒喜, 等. 基于优化最小二乘支持向量机的小样本预测研究[J]. 航空学报, 2004(6): 29-32. ( ![]() |
[4] |
张红, 陆谊. 基于支持向量机的目标图像识别技术[J]. 微电子学与计算机, 2006, 23(7): 23-28. ( ![]() |
[5] |
田有文, 李天来, 李成华, 等. 基于支持向量机的葡萄病害图像识别方法[J]. 农业工程学报, 2007, 23(6): 175-181. ( ![]() |
[6] |
何强. 支持向量机在嵌入式图像识别中的研究[D]. 杭州: 杭州电子科技大学, 2015.
( ![]() |
[7] |
谢旻旻. 无人机降落地点的智能障碍图像识别方法仿真[J]. 计算机仿真, 2015, 32(7): 47-52. ( ![]() |
[8] |
CAMARGO A, SMITH J S. Image pattern classification for the identification of disease causing agents in plants[J]. Comput Electron Agr, 2009, 66(2): 121-125. DOI:10.1016/j.compag.2009.01.003 ( ![]() |
[9] |
葛卫龙, 张晓晖, 韩宏伟, 等. 基于DM642的激光水下图像处理系统设计与实现[J]. 红外与激光工程, 2012, 41(6): 1641-1645. ( ![]() |
[10] |
王健, 王林惠, 岳学军, 等. 基于WiFi的无人机视频传输系统设计与试验[J]. 农业工程学报, 2015, 31(02): 47-51. ( ![]() |
[11] |
SELIM S Z, ISMAIL M A. K-means-type algorithms: A generalized convergence theorem and characterization of local optimality[J]. IEEE Trans. Pattern Analysis and Machine Intelligence, 1984, 6(1): 81-87. ( ![]() |
[12] |
李冠林, 马占鸿, 黄冲, 等. 基于K_means硬聚类算法的葡萄病害彩色图像分割方[J]. 农业工程学报, 2010, 26(2): 32-37. ( ![]() |
[13] |
LI X M, WAN J F, VASILALOS A V, et al. A review of industrial wireless networks in the context of Industry 4. 0[J/OL], Wirel Netw, 2015[2015-11-26]. http://link.springer.com/article/10.1007%2Fs11276-015-1133-7. DOI:10.1007/s11276-015-1133-7.
( ![]() |
[14] |
岑喆鑫, 李宝聚, 石延霞, 等. 基于彩色图像颜色统计特征的黄瓜炭疽病和褐斑病的识别研究[J]. 园艺学报, 2007, 34(6): 1425-1430. ( ![]() |
[15] |
李冠林, 马占鸿, 王海光, 等. 基于支持向量机的小麦条锈病和叶锈病图像识别[J]. 中国农业大学学报, 2012, 17(2): 72-79. ( ![]() |
[16] |
VAPNIK V N. The nature of statistical learning theory[M]. New York: Springer-Verlag, 1995.
( ![]() |
[17] |
朱家元, 杨云, 张恒喜, 等. 基于优化最小二乘支持向量机的小样本预测研究[J]. 航空学报, 2004(6): 29-32. ( ![]() |
[18] |
陆健强, 王卫星, 胡子昂, 等. 基于改进暗通道先验算法的农田视频实时去雾清晰化系统[J]. 农业工程学报, 2016, 32(10): 143-148. DOI:10.11975/j.issn.1002-6819.2016.10.020 ( ![]() |
[19] |
WAN J F, LI D, TU Y Q, et al. Performance analysis model for real-time ethernet-based computer numerical control system[J]. J Cent South Univ T, 2011(18): 1545-1553. ( ![]() |