2020, Vol. 41
2. 湖南科技学院 电子与信息工程学院，湖南 永州 425199
2. School of Electronics and Information Engineering, Hunan University of Science and Engineering, Yongzhou 425199, China
水稻是我国主要粮食作物，在粮食生产中占有极其重要的地位。我国是水稻生产大国，水稻种植面积居世界第2位，总产量居第1位，单产高于世界稻谷平均单产近1倍，位居世界前列[1]。而杂草对水稻种植的影响很大，主要包含以下方面：1)杂草与水稻共处同一生长环境，会与水稻抢夺必须的肥料、水分、土壤资源以及生长所需的空间；2)杂草同时也为农作物害虫或其他有害寄生菌提供了良好的栖息环境[2]。因此，杂草的防治始终是水稻种植中最基本的任务。由于水稻田杂草防治会耗费大量的人力物力，因此利用机器视觉发展的先进成果，精准有效地对水稻田杂草进行识别与防治是我国农业经济发展提升的一个关键环节。
Lecun等[3]提出的卷积神经网络(Convolution nerual network, CNN)是机器学习的经典模型,。随着深度学习理论以及硬件条件的不断发展，人类能够构建更深层的神经网络。注意力机制(Attention-based model)在深度网络中的应用是近年来机器视觉领域发展的里程碑，选择性搜索(Seletive search)是注意力机制在目标识别网络上的体现，其最初应用在R-CNN(Region proposal CNN)网络中，用以初筛选冗余的目标区域并提高物体识别网络的性能[4]。但是选择性搜索会在ROI区域附近生成多个冗余的候选目标区域，CNN网络针对每个候选目标区域都需要计算物体识别的结果，严重影响了目标识别网络的性能。为了进一步提高模型性能，Lin等[5]提出了Fast R-CNN网络，利用目标区域提议网络(Region proposal network, RPN)生成候选目标区域。基于卷积神经网络深度模型的缺陷在于对于已训练的模型，其只能处理宽度和高度尺寸相同的输入图像，通常的解决办法是在输入图像之前作剪裁等归一化操作，但是这样的归一化操作往往会影响图像的语义信息或者目标物体的形状，从而导致图像识别模型精度降低。Ren等[6]提出了SPP网络(Spatial pyramid pooling network)，SPP网络通过在卷积层和全连接层之间加入1个空间池化操作使得CNN可以处理不定尺寸的输入图片，拓宽了卷积神经网络能力范围，并且提高了深度模型的精度。
图像识别技术在杂草识别的应用上早已有所实践[7-10]，El-Faki等[11-12]利用杂草叶片与成熟作物的颜色差异简单区分杂草与作物。而如今最为主流的是基于深度学习模型的图像识别技术[13-14]，杨会清等[15]利用BP神经网络设计了一种田间除草综合评价模型，可以快速精确地输出田间除草等级。孙俊等[16]利用空洞卷积结合全局池化的卷积神经网络对幼苗与杂草进行了识别，模型能达到较高的平均识别准确率及分类成功率。但总体来说利用深度学习模型对杂草进行识别的相关研究较少[17-18]，因此，本文从田间杂草精准防治命题出发，以水稻田常见的伴生杂草为主要研究对象，进行传统机器学习方法和深度模型对照试验，以期能为农业种植中的杂草精准防治以及农业信息化、智能化、机械化生产作出一定的理论和实践探索。
1 材料与方法 1.1 试验环境模型的训练在TensorFlow框架下完成，硬件环境：华擎B450主板、Intel I5 8500 2.8GHzCPU、16G DDR4 2133MHz内存、GTX1060 6G显存显卡。软件环境：CUDA toolkit9.0、CUDNN V7.0；Python3.5.2；TensorFlow-GPU1.8.0；Windows10的64位操作系统；编程语言为Python。
1.2 数据来源分别于2018年4月5日以及同年8月10日在华南农业大学水稻试验田中采集田间杂草图像数据。采集设备为Cannon EOS800D单反相机，镜头型号为EF-S18-55 mm f/4-5.6 IS STM，其有效像素为2420万像素，满足杂草图像采集的要求。相机采集图像的高度应比照正常的农业种植机械能够安装摄像头的高度，这个高度约为15~60 cm，图像采集的角度为摄像头和地面呈60°~90°的夹角。杂草图像采集需要对不同天气光照状况、不同背景复杂度以及不同杂草类型等各个方面的因素作综合考虑，以增强数据集的通用性，其中水稻田中杂草图像采集的背景复杂度主要是由水面反射的阳光、秸秆和泥土混合以及浑水等因素构成，水稻田中充足的水分为各类生物的生长提供了良好的环境。采集图像背景主要包括水面、泥水混合、干湿土壤以及秸秆等，图像采集的天气条件为阴天，当采集光照条件不足的时候采用闪光灯进行补光。PFMW数据集中不同背景下的水稻田杂草图像样本如下图1所示。根据长江中下游地区稻田优势杂草物种的研究[19-20]，本文选择水稻田中优势杂草类别构建PFMW数据集[21-23]。数据集包含水稻田杂草图像共1364幅，其中鬼针草Bidens pilosa(Bidens)156幅、鹅肠草Cerastium aquaticum(Goose starwort)164幅、莲子草Gomphrena sessilis(Gomphrena)188幅、千金子Leptochloa chinensis(Sprangle)293幅、鳢肠Eclipta prostrata(Eclipta)173幅、澎蜞菊Wedelia chinensis(Wedelia)390幅。
|
图 1 PFMW数据集中不同背景下的杂草图像样本 Fig. 1 Samples of weed images in different backgrounds in PFMW dataset a：湿泥土背景；b：秸秆泥土混合背景；c：干泥土背景；d：湿泥土混水背景；e：湿泥土秸秆背景；f：闪光灯补光背景 a: Wet nud background; b: Straw-mud-mixed background; c: Dry mud background; d: Wet mud-water-mixed background; e: Wet mud-straw-mixed background; f: Fill-in flash background |
在深度学习模型中，利用卷积层作为特征提取器，试验选用的模型分别为标准ResNet50、MobileNet、InceptionV3、NASNetMobile、DenseNet121、Xception、VGG16、DenseNet169。
本试验模型的优化器选择RMS，将模型学习率统一设置为0.0001，损失函数采用交叉熵损失函数，损失值
| $ J=-\sum\limits _{i=1}^{K}{y}_{i}\mathrm{l}\mathrm{n}\left({p}_{i}\right), $ |
其中：
|
图 2 深度卷积神经网络训练过程 Fig. 2 Deep convolutional neural network training process |
PFMW数据集上深度学习模型的准确率−召回率曲线(Precision-recall curve，PR)如图3所示。
|
图 3 PFMW数据集上深度学习模型的PR曲线 Fig. 3 PR curve of deep learning model on PFMW dataset |
从图3中可以看出，深度学习模型中NASNetMobile和DenseNet169模型的F值较低，DenseNet169模型的F值为深度模型中最低水平，其F值为0.655。MobileNet模型的F值为0.833，ResNet50、Xception、InceptionV3、DenseNet121和VGG16模型的精度比较接近，其F值分别为0.917、0.921、0.935、0.948和0.954，其中VGG16模型的精度最高。DenseNet121和DenseNet169模型的参数量分别为8.062 M和14.307 M，模型深度分别为121和169层，从图3中可知DenseNet121和DenseNet169模型的F值分别为0.948和0.655，试验结果表明，对于PFMW数据集，深度学习模型的层数过多会造成模型的F值严重下降。深度学习模型在不同类别杂草的F值如表1所示。
|
表 1 基于深度学习模型对杂草分类的F值 Table 1 The F value of weed classification based on deep learning model |
结合图3和表1可以看出，DenseNet121模型在杂草鹅肠草和鳢肠中取得最高F值(0.959和0.969), 而InceptionV3模型则在鬼针草和莲子草中取得最高F值(0.975和0.978),VGG16模型在千金子和澎蜞菊中取得最高F值(0.955和0.992)。
2.2 深度学习模型优化器对试验结果的影响从前文的叙述可知优化器控制着深度学习模型训练下降的梯度，本节基于深度学习模型对常用的SGD、Adam和RMS优化器进行试验，并优选出合适的优化器，从而进一步提高模型的识别精度。从上节的试验结果可知，VGG16模型的精度较高，故本节试验的基准模型设置为经典的VGG16。
本文将各优化器的学习率均设置为0.0001，不同优化器作用下VGG16杂草分类模型的F值如表2所示。
|
|
表 2 不同优化器的VGG16模型杂草分类F值 Table 2 The F value of weed classification using VGG16 model with different optimizers |
从表2可以看出，VGG16-SGD、VGG16-Adam和VGG16-RMS的F值均值分别为0.977、0.941和0.953。其中VGG16-SGD在杂草鬼针草、鹅肠草、莲子草、千金子和鳢肠中取得最高F值, 分别为0.987、0.974、0.965、0.967和0.989，VGG16-RMS在杂草澎蜞菊中取得最高F值，其值为0.992。从上述分析可知，对于VGG16模型而言，SGD优化器在上述3种优化器中为最优。
2.3 非平衡数据集对试验结果的影响模型训练过程容易受到样本类别数量不平衡的影响，不平衡的数据集可能会导致模型效果下降，本节将针对非平衡数据集对模型准确率的影响进行试验。在PFMW数据集中，每个类别选用100幅杂草图像，每个类别随机挑选20幅图像作为测试集，各类别的杂草样本比例如表3所示。
|
|
表 3 数据集各植物类别样本数量分布比 Table 3 Proportions of sample quantities for different plant types of the dataset |
试验中，VGG16模型训练学习率设置为
|
|
表 4 数据集各植物类别VGG16模型识别准确率 Table 4 Recognition accuracies of VGG16 model for different plant types of the dataset |
从表4中可以看出，平衡数据集(Dataset 1)的平均识别准确率能够达到0.900，在本试验中为最高平均识别准确率，其中，对鬼针草、鹅肠草、莲子草、千金子、鳢肠和澎蜞菊的识别准确率分别为0.952、0.857、0.917、0.819、0.917和0.939，对千金子的识别准确率较低。在16.7%类别样本数量失衡试验中，类别数量欠均衡的数据集会使得训练模型的准确率向样本数量较多的类别倾斜，倾斜程度依类别样本数量的欠均衡程度而有所不同，其中欠均衡程度较大的数据集(Dataset 3和Dataset 5)的平均准确率较低，其中Dataset 5的平均准确率为0.845，是整个试验中最低的平均准确率。在33.3%和50.0%类别样本数量的失衡试验中可以看出，多类别样本数量失衡对模型平均准确率的影响比单一类别失衡的影响略小，故采集图像样本时应该注意各杂草类别样本数量应当大致均衡，这样通过数据集训练出的模型才能在各类别杂草识别任务中达到较好的识别水平。
3 结论本文以华南农业大学分子育种重点试验基地的水稻田杂草为主要研究对象，构建了水稻田杂草数据集PFMW，并基于深度模型对数据集进行建模分析。采用ResNet50、MobileNet、InceptionV3、NASNetMobile、DenseNet121、Xception、VGG16、DenseNet169等深度模型对PFMW数据集进行建模与分析，并对深度模型优化器SGD、Adam、RMS进行了对比试验，主要结论如下：
1) 在深度模型的对比试验研究中，VGG16模型取得了最高精度，其在鬼针草、鹅肠草、莲子草、千金子、鳢肠和澎蜞菊中的F值分别为0.957、0.931、0.955、0.955、0.923和0.992，其平均F值为0.954。在本文所设置的深度模型优化器试验中，VGG16-SGD模型取得了最高精度，其在鬼针草、鹅肠草、莲子草、千金子、鳢肠和澎蜞菊中的F值分别为0.987、0.974、0.965、0.967、0.989和0.982，其平均F值为0.977。
2) 在本文所设计的PFMW数据集的样本类别数量均衡试验中，无失衡杂草数据集训练出来的VGG16 深度模型的准确率为0.900，而16.7%、33.3%和66.6%类别失衡的数据集训练的模型准确率分别为0.888、0.866和0.845，从试验数据可知，数据集样本数量均衡因素对训练模型的影响较大。本文研究工作为农业种植中化学农药的精准喷施以及农业信息化、智能化提供了一定的理论以及实践的依据。
| [1] |
虞国平. 水稻在我国粮食安全中的战略地位分析[D]. 北京: 中国农业科学院, 2009.
(  0) |
| [2] |
高平磊, 郭水良, 印丽萍, 等. 影响我国杂草分布危害的性状统计分析[J]. 上海师范大学学报(自然科学版), 2010, 39(6): 623-629. ( 0) |
| [3] |
LECUN Y, BOTTOU L, BENGIO Y, et al. Gradient-based learning applied to document recognition[J]. Proc IEEE, 1998, 86(11): 2278-2324. DOI:10.1109/5.726791 ( 0) |
| [4] |
ZEILER M D, FERGUS R. Visualizing and understanding convolutional networks[C]//European conference on computer vision. Zurich, Switzerland: Springer, 2014: 818-833.
( 0) |
| [5] |
LIN T Y, DOLLÁR P, GIRSHICK R, et al. Feature pyramid networks for object detection[C]//IEEE. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, HI: IEEE XPLORE, 2017: 2117-2125.
( 0) |
| [6] |
REN S, HE K, GIRSHICK R, et al. Faster r-cnn: Towards real-time object detection with region proposal networks[C]//IEEE. Advances in neural information processing systems. Boston, MA: IEEE XPLORE, 2015: 91-99.
( 0) |
| [7] |
TIAN L F, SLAUGHTER D C, Environmentally adaptive segmentation algorithm for outdoor image segmentation[J]. Comput Electron Agric, 1998, 21(3): 153-168.
( 0) |
| [8] |
吴国瑞. 基于图像处理的杂草种类识别技术研究[D]. 杨凌: 西北农林科技大学, 2009.
( 0) |
| [9] |
吴兰兰. 基于数字图像处理的玉米苗期田间杂草的识别研究[D]. 武汉: 华中农业大学, 2010.
( 0) |
| [10] |
夏雨. 早期玉米苗与杂草的自动辨识算法研究[D]. 哈尔滨: 哈尔滨工业大学, 2017.
( 0) |
| [11] |
EL-FAKI M S, ZHANG N, PETERSON D E. Weed detection using color machine vision[J]. Trans ASAE, 2000, 43(6): 1969-1978. DOI:10.13031/2013.3103 ( 0) |
| [12] |
EL-FAKI M S, ZHANG N, PETERSON D E. Factors affecting color-based weed detection[J]. Trans ASAE, 2000, 43(4): 1001-1009. DOI:10.13031/2013.2968 ( 0) |
| [13] |
HE K, ZHANG X, REN S, et al. Spatial pyramid pooling in deep convolutional networks for visual recognition[J]. IEEE Trans Pattern Anal Mach Intell, 2015, 37(9): 1904-1916. DOI:10.1109/TPAMI.2015.2389824 ( 0) |
| [14] |
HE K, ZHANG X, REN S, et al. Deep residual learning for image recognition[C]//IEEE. Proceedings of the IEEE conference on computer vision and pattern recognition. Las Vegas, NV: IEEE XPLORE, 2016: 770-778.
( 0) |
| [15] |
杨会清, 李明刚. 基于BP神经网络的田间杂草识别技术研究[J]. 山东理工大学学报(自然科学版), 2014, 28(2): 70-74. ( 0) |
| [16] |
孙俊, 何小飞, 谭文军, 等. 空洞卷积结合全局池化的卷积神经网络识别作物幼苗与杂草[J]. 农业工程学报, 2018, 34(11): 159-165. ( 0) |
| [17] |
邓向武, 齐龙, 马旭, 等. 基于多特征融合和深度置信网络的稻田苗期杂草识别[J]. 农业工程学报, 2018, 34(14): 165-172. ( 0) |
| [18] |
何俐珺. 基于K-means特征学习的杂草识别研究[D]. 杨凌: 西北农林科技大学, 2016.
( 0) |
| [19] |
刘庆虎. 长江中下游地区直播稻田杂草种子库及千金子防控技术研究[D]. 南京: 南京农业大学, 2016.
( 0) |
| [20] |
王晓峰, 黄德双, 杜吉祥, 等. 叶片图像特征提取与识别技术的研究[J]. 计算机工程与应用, 2006, 3(1): 190-193. ( 0) |
| [21] |
OJALA T, PIETIKÄINEN M, MÄENPÄÄ T. Gray scale and rotation invariant texture classification with local binary patterns[C]//European conference on computer vision. Dublin, Ireland: Springer, 2000: 404-420.
( 0) |
| [22] |
许新华. 基于LBP的复杂背景下作物病害叶片病斑分割方法研究[D]. 郑州: 郑州大学, 2018.
( 0) |
| [23] |
TIAN L F, SLAUGHTER D C. Environmentally adaptive segmentation algorithm for outdoor image segmentation[J]. Comput Electron Agric, 1998, 21(3): 153-168. DOI:10.1016/S0168-1699(98)00037-4 ( 0) |