2. 江苏省智能化农业装备重点实验室,江苏 南京 210031
2. Jiangsu Province Engineering Laboratory for Modern Facilities Agricultural Technology and Equipment, Nanjing 210031, China
在温室大棚中,由于空间密闭,极易形成高温高湿环境,从而诱发作物病虫害。在此环境中采用传统的人工施药方式,不仅农药利用率低,而且农药挥发雾化会对人体健康造成一定危害。采用施药机器人进行作业,可以减少操作人员在密闭棚内的工作时间,且对行喷雾可以提高农药的施用效果。目前,施药机器人对行施药控制方式主要有药液调节控制式、流量控制式、压力控制式等方式[1-3]。其导航系统主要采用超声定位确定喷雾作业区域,或者采用GPS和机器视觉的方式确定行走路径[4-5]。目前,国内外对施药机器人的研究尚处于探索试验阶段。Jasinski等[6]提出了一种施药智能决策机器人系统,通过传感技术与图像处理等技术实现了精确施药的功能。Sharma等[7]提出了一种惯性导航系统,提高了施药机器人导航的准确性。刁智华等[8]提出了一种适用于施药机器人系统的施药算法,提高了农药利用率。张铁民等[9]提出了一种多源传感器信息融合的导航系统,为农用机器人导航方法的研究提供了新依据。温室内部结构复杂、光照变化快,导航受干扰因素多,施药系统难以建立统一模型等因素都给机器人系统导航与施药决策带来了很大的困难。不同光照条件下的自主导航作业和不同作物参数下的施药控制将直接影响作业性能和效果,所以,一种可以适应不同光照条件及外界因素干扰的导航施药系统将会有效提高药液利用率,减小农药对人体的伤害。
本文设计了一套基于机器视觉的自主导航的对行施药系统,经过图像处理提取出导航路径后进行了车体行走偏移矫正控制;对喷雾系统采取恒压控制以保证作物受药均匀,同时针对温室内光照变化大的问题,提出了一种在合适的颜色空间采用改进的K-means算法来进行路径分割的方法,并进行了行走与喷雾沉积性能试验。
1 总体方案该系统主要由喷杆、水箱、微型水泵、车载计算机、Kinect摄像机、蓄电池组、直流无刷电动机、步进电动机及控制器和传感模块等组成(图1),分为图像采集部分、驱动和转向部分以及喷雾部分。图像采集装置为Kinect的彩色摄像头,图片分辨率为640像素×480像素,图像格式为JPG,摄像头高度设置为60 cm,安装在车体正前方,转角可调节的范围是与水平面夹角0~45°。后轮驱动部分直流电机功率为500 W,前轮步进电机用于控制车体转向,额定扭矩为29 N·m–1,最大瞬间负载为44 N·m–1;前轮导向轴上安装有“U”型槽光电传感器和绝对式旋转编码器,用于测量前轮转角以便及时修正车体前进方向。施药部分水箱为50 L的加厚塑料水桶,选用的微型水泵型号为回流型3210HD,工作电压为12 V,最大流量是8 L·min–1,可以通过调节转速从而改变喷药压力。该喷雾车整体长1.00 m、宽0.35 m,符合我国小型设施农业进行喷雾作业所需的客观条件。
|
图 1 温室喷雾导航系统结构简图 Figure 1 The structure diagram of navigation system for greenhouse spraying 1:触摸屏显示器;2:控制器;3:摄像头;4:光电传感器;5:直流电机;6:绝对式旋转编码器;7:车载计算机;8:蓄电池组;9:步进电机;10:微型水泵;11:水流量和压力传感器;12:喷头;13:水箱 |
系统的整体工作原理如图2所示。摄像头实时拍摄温室环境道路图像,通过USB接口与车载计算机相连接,车载计算机对获取到的图像进行实时图像处理,得到导航路径信号,串口将行走指令发送给STM32控制器,控制器驱动小车直行或转向;图像处理系统实时监测小车航向偏移,光电开关及编码器实时检测前轮转角,并由控制器进行航向调节。压力传感器实时监测水压信息,与系统预设值比较形成闭环反馈,从而实现喷雾压力准确调控。
|
图 2 温室施药导航系统工作原理图 Figure 2 The working schematic diagram of navigation system for greenhouse pesticide spraying |
本文研究对象为番茄温室,采集到的图片如图3a。由于温室环境中光照变化大,目前常用的颜色空间RGB、CMY等难以适应,而HSI空间由H(色调)、S(饱和度)和I(亮度)3个分量构成,光照变化只对I分量有影响,且3个分量之间可以单独处理,互不相关[10-12],因此本研究选用HSI空间,且只对H和S分量进行后续的图像处理,得到分量效果图(图3b和3c),可以看到分量存在较多噪声。为了有效去除噪声,同时克服线性滤波带来的图像细节模糊问题,本文选择算子大小为7×7的中值滤波算法,处理结果见图3d和3e,可以发现噪声基本被消除。
|
图 3 番茄温室图片及H和S分量滤波前后效果图 Figure 3 The tomato greenhouse picture and renderings of H and S components before and after filtering |
温室道路区域和植被区域的边界是获取导航路径的关键。由于图像中存在落叶、杂草以及地膜、土壤边界不清等问题,对边界提取产生了巨大的干扰[13-15]。本文在边缘检测之前先进行图像分割,提取出道路区域。常见的分割方法有基于阈值的分割,其对噪声十分敏感;基于区域的分割,忽略了空间信息等。在聚类分割算法中,基于K-means聚类算法是目前应用最为广泛的算法之一,它具有直观、快速、易于实现等特点,但聚类数目与聚类中心的初始选择对分割结果影响很大[16-17]。本文提出了一种改进的K-means聚类算法,基于直方图寻找初始聚类中心及数目。
首先,分别作出滤波后图像H、S分量像素分布的直方图(图4a和4b),可以直观的看到各区域的像素分布情况。利用高斯滤波器对原始分量直方图进行平滑处理,滤波器窗口大小选择1×5,通过调节高斯标准协方差(σ)可以改善平滑效果,得到平滑后的效果图(图4c和4d),第i级灰度值对应的像素点数目为n(i),设μ(i)=(i,n(i))。具体做法如下:
1)寻找峰值点集合(N1):
| ${ N}_1 \! =\! \{ \mu (i)|n(i) > \!n(i\! -\! 1) \cap n(i) > n(i + 1),1 \text{≤} i \text{≤} 254\}{\text{。}}$ | (1) |
2)设定阈值T1,排除掉像素点数目过少的峰值点,得到新的峰值点μ′(i)的集合(N2),其包含的峰值点数目为m:
| ${{ N}_2} = \{ {\mu '}(i)|n(i) \text{≥} {T_{1}},\;\mu (i) \in {{ N}_1}\} {\text{。}}$ | (2) |
3)距离过近的峰值点所在灰度级相近,即区域颜色相似,设置距离阈值T2,从相近的峰值点中选取包含像素点较多的峰值点作为新的峰值点。xk与xk+1表示相邻的2个峰值点的位置,令1≤k≤m–1,当║xk-xk+1║≥T2时,同时选取这2个点作为新的峰值点,当║xk-xk+1║<T2时,所包含的像素点数目多的点作为峰值点,最终得到数目为K的峰值点集合,即可确定K均值聚类所需要的初始中心的个数和初始值。
|
图 4 平滑处理前后的H和S分量直方图 Figure 4 The histograms of H and S components before and after smoothing |
本文选择道路区域作为待获取的区域信息,采用聚类数目和聚类中心选取方法改进了的K-means算法处理图像,分别得到H分量分割、S分量分割以及H、S联合分割的效果图(图5)。由图5可以看出,联合分割的效果明显优于单个分量分割的效果,采用联合分割道路能被明显分割出来,边缘较明晰,能满足对道路提取的要求。
|
图 5 H、S分量分割和联合分割的结果图 Figure 5 The results of image segmentation using H and S components singly or jointly |
获取完整的道路信息后,需要对道路边界进行检测。本研究采用Candy算子检测到边缘离散点信息后,通过逐行扫描的方式获取两边离散点的坐标信息,取平均值来确定导航离散点信息。最后采用任永新等[18]改进的Hough变换方法,将逐点向参数空间的映射转化为所有的点向某一个点的映射,拟合出导航线,标示于图中(图6)。
|
图 6 拟合的导航路径 Figure 6 The fitted navigation path |
行走控制系统用于车体的偏移矫正,使车体一直沿作物行中心线自主前进,基于导航环境较为复杂,本文选用模糊控制方法,控制原理图如图7。ed是小车实际位置与导航线的水平距离,即横向偏差;eθ是小车实际路径与导航路径的夹角,即航向偏差;根据ed和eθ来衡量小车偏移中心路径的程度。δ为前轮转角,ed0和eθ0表示期望状态,即eθ=ed=0。本系统将小车的eθ和ed作为控制器的输入,δ作为控制器的输出;将eθ和ed的基本论域范围分别设为[–15°,15°]和[–30 cm,30 cm],论域设为[–6,6],量化因子分别为0.4和0.2;输出的基本论域设为[–6°,6°],论域设为[–6,6],其比例因子是1;论域3个变量的模糊等级都为[NB,NM,MS,ZO,PS,PM,PB]。根据专家经验和相应知识制定了相应规则,完成了模糊控制器的设计,从而输出正确的期望转角。
|
图 7 行走控制框图 Figure 7 The block diagram for walking control |
对采集到的图像进行颜色空间转换、中值滤波、分割、作物行提取等一系列处理后,可得到导航中心线,施药系统整机可精确在行间行走并进行作业。为保证同一区域作物得到的药液量基本一致,对同种作物在施药系统上采取定压控制。人工设定喷雾压力值,由模糊PID系统输出不同的PWM波形,从而间接控制喷雾压力,再通过压力传感器检测水流压力并传递给施药控制系统进行负反馈,从而进行相应调整。
因为施药系统较为复杂,常规的PID控制不能满足系统调控精度需求,因此本文采用抗干扰能力强、响应速度快的自整定模糊PID控制算法[19-21],系统的原理如图8。压力传感器实时检测出管道的水流压力值,测得的压力值与STM32控制器设定的压力值(r)相比较,经计算可得到压力偏差(e)及偏差的变化率(ec),将e和ec作为模糊控制器的输入,PID参数的校正量作为输入,使PID参数可根据e和ec变化实时进行自调整。控制器经线性转换最终输出的是PWM波的占空比,水泵压力随PWM波的占空比变化而变化,通过调节PWM波的占空比即可实现水泵压力恒定。
|
图 8 喷雾系统原理图 Figure 8 The schematic diagram of spray system |
根据本系统设计特点,e的变化范围为[–0.4 MPa,0.4 MPa],ec的范围是[–15,15],模糊论域均为[–6,6],量化因子分别是15.0和0.4。PID参数基值通过试凑法[22]获得,Kp、Ki和Kd分别取85、0.05和3.3;控制器输出变量ΔKp、ΔKi和ΔKd的基本论域分别取为[–60,60]、[–0.012,0.012]和[–2.5,2.5],模糊论域均为[–6,6],比例因子分别是10.000、0.002和0.417。设定输入输出变量模糊集均为[NB,NM,NS,ZO,PS,PM,PB],隶属函数均取三角形函数。根据常用理论和实践经验制定了PID参数自整定规则,并采用加权平均法[23]将模糊输出转化为精确量ΔKp、ΔKi和ΔKd,根据公式(3)得到了PID控制算法的3个系数Kp、Ki和Kd:
| $\left\{ \begin{array}{l}{K_{\rm p}} = {K_{{{\rm p}'}}} + 10\varDelta {K_{\rm p}},{K_{\rm i}} = {K_{{{\rm i}'}}} + 0.002\varDelta {K_{\rm i}},{K_{\rm d}} = {K_{{{\rm d}'}}} + 0.417\varDelta {K_{\rm d}},\end{array} \right.$ | (3) |
式中,Kp′,Ki′和Kd′分别是PID参数基值。进而可以对水泵转速进行调节,使喷雾系统压力保持恒定。
3 温室大棚试验与结果试验在江苏省农业科学院番茄温室大棚中进行,垄长10 m、垄宽0.6 m,番茄株高约1.8 m,试验条件为无自然风,温度为17 ℃,湿度为21%,试验现场如图9。
|
图 9 番茄温室大棚中的试验平台 Figure 9 The test platform in tomato greenhouse |
在同一温室环境条件下,分别设1~3、20~40和80~100 klx的3种光照度范围,各获取10幅图片。分别采用目标识别算法(方法1)、基于H和S联合分割的常规的K-means聚类算法(方法2)以及基于RGB空间的常规的K-means聚类算法(方法3)处理。运行计算机的配置:CPU主频为2.66 GHz、内存为3 G。
为了准确评价算法的路径识别效果,统计了每类图片处理耗时(T)、平均处理时间(Ts)、算法拟合中心线位置(Xa)、实际中心线位置(Xb)、误差率(α)和误差平均值(
|
|
表 1 不同算法误差率比较1) Table 1 Comparisons of the error rates of different algorithms |
|
|
表 2 不同算法效果比较 Table 2 Comparisons of the results of different algorithms |
为了验证系统自主导航性能,先对行进路线进行标记,行进参考路线是初始位置中心点与终点位置中线点的连接直线。在车头正下方的底盘正中间处悬挂可滴漏液体的瓶子,根据液体的轨迹判断小车的行走轨迹。将小车的起点定在偏差为10 cm的位置上,并将初始速度分别设为0.5、1.0和1.5 m·s–1,不同光照度下让小车在垄间自由行走,以5 cm的间隔分别测量并记录各速度下不同行进距离的横向偏差,得到的系统路径跟随性能(图10)。试验结果(图10)表明,在不同初始速度、不同光照条件下,该系统能够准确地跟踪路径,在初始位置存在较大偏差的情况下,系统可自主调节到标准位置附近,到达标准位置后,在正常的进行过程中,导航最大偏差不超过5 cm。可见,本文所提出的导航方法可以满足温室导航系统的精度需求,同时能有效地克服光照的影响,提高了温室移动机器人视觉导航路径识别的鲁棒性。
|
图 10 不同初始速度的系统路径跟随性能 Figure 10 The path following performance of the system with different initial speed |
为了测试小车自主导航时的施药性能,将小车按表3参数设置,探究小车不同行走速度及喷雾工作压力下对雾滴沉积覆盖率的影响。
|
|
表 3 因素水平表 Table 3 The table of factor and level |
在同一作物行任选15株番茄植株,在植株的中垂线上距地面分别为1.5、1.0和0.5 m处,即植株上、中、下层,每层各选择3片叶片作为采样点,用曲别针在叶片正反面各夹住1片38 mm×26 mm的水敏试纸,用于测量正反面雾滴沉积覆盖率,并将同一植株行同一水平面上的水敏试纸视为重复试验,取平均值。试纸布置完毕后,让小车匀速驶过行间,待雾滴干燥后收集试纸,用扫描仪及雾滴图像处理软件测定每张试纸的雾滴覆盖率,结果见图11。通过数据分析,本系统在喷雾压力为0.6 MPa、行驶速度为1.0 m·s–1条件下,喷雾效果最佳,植株上层叶片正面平均药液覆盖率为63.26%,单位面积(1 cm2)雾滴数平均为55个;中层叶片正面平均药液覆盖率为50.89%,单位面积雾滴数为42个;下层叶片正面平均药液覆盖率为75.82%,单位面积雾滴数为78个;叶片反面平均药液覆盖率为23.96%,可以满足温室施药需求。
|
图 11 不同喷雾压力和行驶速度下各层番茄叶片沉积覆盖率分布 Figure 11 The coverage rates of droplet distributions of tomato leaves on different layers under different spraying pressures and driving speeds |
1)本文研制的自主导航喷雾系统机具尺寸小、结构紧凑,可同时完成行间行走、喷雾作业,可以满足我国小型温室作业所需的客观条件。
2)针对温室导航受光照影响较大的问题,选用了H、S通道联合处理的方式,有效排除了光照的影响,同时改进了传统的K-means聚类分割算法,提出了初始聚类中心和聚类数目选取的新方法,有效提高了导航的鲁棒性。
3)系统采用恒压定量喷雾方式,通过模糊PID控制,提高了喷雾控制精度。
4)番茄温室大棚试验证明,机具作业效果良好,导航偏差不超过5 cm,上、中、下层番茄植株叶片正面覆盖率分别为63.26%、50.89%和75.82%。
| [1] |
TORII T. Research in autonomous agriculture vehicles in Japan[J]. Comput Electron Agr, 2000, 25(1/2): 133-153. ( 0) |
| [2] |
沈成杰. 变量喷雾系统设计及喷雾流量控制特性试验研究[D]. 镇江: 江苏大学, 2009.
( 0) |
| [3] |
SINGH S, BURKS T F, LEE W S. Autonomous robotic vehicle development for greenhouse spraying[J]. Trans ASAE, 2005, 48(6): 2355-2361. DOI:10.13031/2013.20074 ( 0) |
| [4] |
李佐鹏. 喷雾机器人超声定位及变量喷雾试验研究[D]. 镇江: 江苏大学, 2007.
( 0) |
| [5] |
张波. 田间自走式对行喷雾机器人控制系统设计[D]. 杨凌: 西北农林科技大学, 2017.
( 0) |
| [6] |
JASIŃSKI M, MĄCZAK J, RADKOWSKI S, et al. Autonomous agricultural robot: Conception of inertial navigation system[C]//ROMAN S, MAŁGORZATA K, CEZARY Z. Challenges in automation, robotics and measurement techniques. Warsaw: Springer International Publishing, 2016: 669-679.
( 0) |
| [7] |
SHARMA S, BORSE R. Automatic agriculture spraying robot with smart decision making[C]//CORCHADO R J. The international symposium on intelligent systems technologies and applications. Jaipur: Springer International Publishing, 2016: 743-758.
( 0) |
| [8] |
刁智华, 刁春迎, 魏玉泉, 等. 机器人系统中小麦病害识别与施药算法研究[J]. 江苏农业科学, 2017, 45(17): 192-195. ( 0) |
| [9] |
张铁民, 李辉辉, 陈大为, 等. 多源传感器信息融合的农用小车路径跟踪导航系统[J]. 农业机械学报, 2015, 46(3): 37-42. DOI:10.6041/j.issn.1000-1298.2015.03.006 ( 0) |
| [10] |
兰小艳, 陈莉, 贾建, 李熠晨, 等. 基于小波和PCA的自适应颜色空间彩色图像去噪[J]. 计算机应用研究, 2018, 35(3): 934-939. ( 0) |
| [11] |
虎晓红, 李炳军, 刘芳. 多颜色空间中玉米叶部病害图像图论分割方法[J]. 农业机械学报, 2013, 44(2): 177-181. DOI:10.6041/j.issn.1000-1298.2013.02.033 ( 0) |
| [12] |
庞晓敏, 闵子建, 阚江明. 基于HSI和LAB颜色空间的彩色图像分割[J]. 广西大学学报(自然科学版), 2011, 36(6): 976-980. ( 0) |
| [13] |
高国琴, 李明. 基于K-means算法的温室移动机器人导航路径识别
[J]. 农业工程学报, 2014, 30(7): 25-33. ( 0) |
| [14] |
王新忠. 温室番茄收获机器人选择性收获作业信息获取与路径规划研究[D]. 镇江: 江苏大学, 2012.
( 0) |
| [15] |
王新忠, 韩旭, 毛罕平, 等. 基于最小二乘法的温室番茄垄间视觉导航路径检测[J]. 农业机械学报, 2012, 43(6): 161-166. ( 0) |
| [16] |
徐黎明,吕继东. 基于同态滤波和K均值聚类算法的杨梅图像分割[J]. 农业工程学报, 2015, 31(14): 202-208. DOI:10.11975/j.issn.1002-6819.2015.14.028 ( 0) |
| [17] |
刁智华, 王欢, 宋寅卯, 等. 复杂背景下棉花病叶害螨图像分割方法[J]. 农业工程学报, 2013, 29(5): 147-152. ( 0) |
| [18] |
任永新, 谭豫之, 杨会华, 等. 基于模糊控制的黄瓜采摘机器人视觉导航[J]. 江苏大学学报(自然科学版), 2009, 30(4): 343-346. ( 0) |
| [19] |
董志明,宋乐鹏. 基于PLC控制的模糊自整定PID变量喷雾控制系统[J]. 山东农业大学学报(自然科学版), 2014, 45(4): 536-540. ( 0) |
| [20] |
宋淑然, 阮耀灿, 洪添胜, 等. 果园管道喷雾系统药液压力的自整定模糊PID控制[J]. 农业工程学报, 2011, 27(6): 157-161. ( 0) |
| [21] |
宋乐鹏, 董志明, 向李娟, 等. 变量喷雾流量阀的变论域自适应模糊PID控制[J]. 农业工程学报, 2010, 26(11): 114-118. DOI:10.3969/j.issn.1002-6819.2010.11.020 ( 0) |
| [22] |
戴俊珂, 姜海明, 钟奇润, 等. 基于自整定模糊PID算法的LD温度控制系统[J]. 红外与激光工程, 2014, 43(10): 3287-3291. DOI:10.3969/j.issn.1007-2276.2014.10.020 ( 0) |
| [23] |
尹振波. 喷雾系统的设计及喷雾机器人自主作业的研究[D].北京: 北京林业大学,2012.
( 0) |
2018, Vol. 39



0)