2023, Vol. 44
2. 江苏省现代设施农业技术与装备工程实验室, 江苏 南京 210031
2. Engineering Laboratory of Modern Facility Agriculture Technology and Equipment in Jiangsu Province, Nanjing 210031, China
番茄在世界范围内被广泛喜爱和食用，是我国主要的设施农业蔬菜之一。番茄是典型的喜温植物，最适宜生长温度范围为25~30 ℃，30~35 ℃属于亚高温，即不会抑制植物生长但又高于最适宜生长温度，超过35 ℃便会对番茄的生长发育造成胁迫[1]。在实际农业生产中，由于温室保温效果好，白天往往会出现升温快、气温高的情况[2]，而大多数番茄品种缺乏耐热性，因此中国南方夏季高温是限制番茄生长发育的主要因素[3]。番茄的苗期发育阶段通常比结果阶段更容易受到高温的影响，会出现叶片卷曲、下垂、收缩、黄化甚至是枯萎等症状[4]。传统的胁迫检测主要是通过人工诊断，效率低下且具有一定的时空滞后性[5-6]。
热红外成像技术对温度反应敏感，与图像处理技术相结合对采集图像中作物不同的温度区域进行比较后，可以非常便捷地对温度和图像数据进行解释。目前研究主要关注于水分胁迫、病害胁迫及干旱胁迫的快速无损远距离监测分析，以便选取合适手段进行绿色防治[7-11]。一般采用遥感或无人机的热红外成像研究，观察范围广泛，群体特征表现良好，但是缺乏对作物个体特征的研究；针对个体特征的热红外成像研究对试验条件要求更加严苛，所以研究方向更加细化分散[12-15]。
近些年来，机器视觉、计算机视觉技术蓬勃发展[16-17]，在引入作物表型组学的同时，不同的学者们分别使用了GoogLeNet、AlexNet、VGGNet、Inception-v3和ResNet50等深度卷积神经网络对不同作物的病虫害以及水分胁迫的RGB图像进行了分类、识别和预测，试验结果具有良好准确性、可靠性和可扩展性[18-24]。随着深度学习网络层数逐渐加深，模型结构趋于复杂化，整体训练的性能和效果也在逐渐提升。
针对实际生产场景中番茄苗期生长遇到的高温胁迫问题，一般的RGB图像可以提供较为清晰的叶片分布，但是由于苗期番茄叶片形状不规则、分布密集、颜色近似且重叠严重，而早期的高温胁迫症状根据传统的图像处理方法只能进行粗略的分割，误差很大，因此需要采用深度学习技术对胁迫症状的精细特征进行划分和提取；另一方面，针对肉眼不可见的高温胁迫特征，热红外图像提供的叶面温度信息可以很好地对深度学习RGB图像提供的细化特征进行补充。本文综合了上述2个方面的研究内容提出了一种基于热红外和RGB图像的番茄苗期高温胁迫检测方法，对高温胁迫的症状和分级进行快速精准的预警，以防对番茄苗期的生长造成不可逆的损伤和影响[25]。
1 材料与方法 1.1 试验设计与图像采集试验于2021年12月至2022年1月在南京农业大学工学院博远楼实验室进行。供试番茄品种为‘美粉先锋’，经过热水浸种、消毒、催芽以后，将番茄种子播在育苗盘中，在适温LED顶置光源人工气候箱(南京联策科学仪器有限公司)内进行育苗。育苗期间每天08:00—20:00设置温度28 ℃，光照度50 000 lx，相对湿度75%；20:00—08:00设置温度20 ℃，光照度为0，相对湿度75%。将番茄幼苗培育到“三叶一心”时，进行移栽定植，经过优选后将长势基本一致的幼苗移栽到8.5 cm×11.5 cm×8 cm(高×上口径×底径)的塑料花盆中。当番茄幼苗进一步发育至3~4 叶，高度约15 cm时，对盆栽植株进行试验条件处理。试验期间08:00—20:00设定光照度50 000 lx，20:00—08:00光照度为0，试验处理第1、2天的昼、夜温度分别设置为35、25 ℃，使番茄幼苗正常健康生长的同时，适应亚高温环境，第3~6天的昼、夜温度分别设置为40、25 ℃，给予高温胁迫，设定相对湿度为75%，各植株灌水量一致，处理水分适宜。试验分为2个批次，每次45株幼苗，共90株幼苗。
在整个试验期间进行图像采集，试验开始第3~6天高温处理使番茄幼苗产生不同程度的胁迫症状。按一定的拍摄规则和拍摄顺序使用可自动对焦的智能手机iPhone XS Max原生相机获取所有番茄幼苗的冠层尺度RGB图像，成像分辨率为3024×4032，拍摄900幅；并由FLIR ONE Pro红外热像仪(美国菲力尔公司，量程−20~400 ℃)获取所有番茄幼苗的热红外图像，成像分辨率为480×640，拍摄810幅，建立试验样本数据集。为了降低环境温光条件和其余植株的噪声干扰，使用白纸对背景进行遮挡并选取冠层尺度进行拍摄。
1.2 试验流程试验整体流程如图1所示，主要分3个部分进行：温度数据的计算与提取、构建胁迫症状分割模型和构建胁迫等级分类模型。
|
图 1 试验整体流程图 Fig. 1 Overall flow chart of the test PCA：主成分分析；PLS：偏最小二乘；NB：朴素贝叶斯；SVM：支持向量机；kNN：k−最近邻；BPNN：反向传播神经网络 PCA: Principal component analysis; PLS: Partial least squares; NB: Naive Bayesian; SVM: Support vector machine; kNN: k-nearest neighbor; BPNN: Back propagation neural network |
获取番茄幼苗的热红外图像，将其导入热红外图像处理软件FLIRTools中，通过将热红外图像进行像元分离，得到图像中样本每一个像素点的温度值CSV文件，将图像温度数据文件导入MATLAB软件(美国MathWorks公司)，并输出番茄幼苗热红外图像的温度分布直方图(图2)，将冠层温度的分布特征通过反演进行可视化，得到冠层能量分布三维曲面图(图3)。
|
图 2 番茄幼苗热红外图像温度分布直方图 Fig. 2 Histogram of temperature distribution of thermal infrared image of tomato seedling |
|
图 3 番茄幼苗冠层能量分布三维曲面图 Fig. 3 3D surface map of energy distribution in canopy of tomato seedlings |
通过图2、3可知，温度分布主要集中在23和31 ℃附近，由于背景用白纸遮挡，因此第1个峰值代表背景温度，第2个峰值代表番茄幼苗冠层温度。随着温度像素的变化存在着明显的能量波动，观察到2个峰值之间的温度阈值大约在25.2 ℃，以此可对热红外伪彩色图像进行阈值分割去除背景。
简单的热红外图像因受到环境噪声的影响，不具有良好的可分析性，不能作为番茄高温胁迫检测的可靠依据，需要对温度数据进行提取和处理，依据阈值分割后的热红外图像可以进行计算，得到试验期间每天12:00和16:00番茄幼苗冠层热红外温度最大值、最小值、极差、平均值和标准差，结果如表1所示。
|
表 1 番茄幼苗冠层热红外温度参数变化表 Table 1 Variation table of thermal infrared temperature parameters of tomato seedling canopy |
由表1可知，随着高温胁迫程度的不断加深，番茄幼苗的冠层温度区间在慢慢提升，平均温度也随之提升，同时冠层日积温也呈增长趋势，最大温差范围在[7.5,9.9] ℃区间内浮动，冠层整体温度分散趋势比较稳定均匀。
1.3.2 热红外温度特征指标计算与降维筛选为了消除图像采集时环境温度对热红外图像采集的噪声干扰，同时方便进行多组不同量纲温度数据之间的比较，对采集的温度数据先进行正规标准化计算，转化成无量纲标准化数据，方法参考文献[26]，其计算公式为：
| $ {X}_{i}=\dfrac{{x}_{i}-\bar {x}}{\sqrt{\dfrac{1}{n-1}\displaystyle\sum\nolimits _{i=1}^{n}{\left({x}_{i}-\bar {x}\right)}^{2}}} \text{，} $ | (1) |
其中
将番茄的冠层温度正交标准化后的最大值、最小值、平均值、标准差作为特征指标
| $ {T}_{5}=\dfrac{{\mathrm{max}}_{1\leqslant i\leqslant n}{X}_{i}-{X}_{i}}{{\mathrm{max}}_{1\leqslant i\leqslant n}{X}_{i}-{\mathrm{min}}_{1\leqslant i\leqslant n}{X}_{i}} \text{，} $ | (2) |
| $ {T_6} = \frac{{\bar X - {X_i}}}{{\bar X - {\rm{mi}}{{\rm{n}}_{1 \leqslant i \leqslant n}}{X_i}}}，$ | (3) |
| $ {T}_{7}=\Bigg(\sqrt{\dfrac{\displaystyle\sum\nolimits _{i=1}^{n}{\left({X}_{i}-\bar {X}\right)}^{2}}{{n}^{3}}}\Bigg)\Bigg/\displaystyle\sum\nolimits _{i=1}^{n}{X}_{i} \text{，} $ | (4) |
| $ {T}_{8}=\Bigg(\sqrt{\dfrac{\displaystyle\sum\nolimits _{i=1}^{n}{\left({X}_{i}-\bar {X}\right)}^{2}}{n}}-{T}_{{\rm{h}}}\Bigg)\Bigg/{T}_{{\rm{h}}} \text{，} $ | (5) |
| $ {T}_{9}=H\left({X}_{i}\right)=-\displaystyle\sum\nolimits _{i=1}^{n}p\left({X}_{i}\right)\mathrm{lg}p\left({X}_{i}\right) \text{，} $ | (6) |
其中
通过热红外图像采集的温度数据可知，番茄冠层温度分布在20~35 ℃的温度范围内，将温度范围五等分，计算冠层温度中[20，23) ℃温度范围的温度频率
| $ {P}_{i}=\displaystyle\sum\nolimits_{i=1}^{5}\dfrac{{a}_{i}}{n} \text{，} $ | (7) |
其中
为了获得最佳的特征指标，需要对14个特征指标进行降维选取对比PCA和PLS模型发现，对于输入特征指标来说，PCA模型没有考虑筛选出的指标对输出特征的解释能力，仅依靠方差大小来进行判断，剔除了相互交叉部分信息的影响。而PLS模型利用逐步回归的思想，对输入特征和输出特征进行逐步分解，综合考虑筛选出的指标对输出特征的解释能力，提升了校正模型的性能[28]。因此选取PLS模型计算各个特征指标的相关系数和主成分贡献率。
1.4 构建高温胁迫症状分割模型 1.4.1 胁迫症状分类图4为采集到的部分番茄幼苗叶片RGB图像，本试验根据番茄幼苗在高温胁迫产生的不同症状将叶片划分为卷曲、下垂、收缩、枯萎和黄化5类，用以增强图像数据集的多样性，并给出不同症状的特征描述：卷曲表现为叶片由边缘向内不同程度的卷曲；下垂表现为叶片从叶尖开始向叶根呈下垂趋势；收缩表现为叶片从两边开始向内收缩露出部分叶背；枯萎表现为叶片从叶尖向内呈不同程度褐色枯萎状；黄化表现为叶片由受光位置扩散到整片叶子的黄化。
|
图 4 不同高温胁迫症状的番茄幼苗叶片RGB图像 Fig. 4 RGB images of tomato seedling leaves with different symptoms of high temperature stress |
本试验需要对苗期番茄的高温胁迫症状特征进行提取，番茄叶片形状不规则且相互之间重叠遮挡严重，因此对产生症状的叶片进行分割时需要较高的精度。一般的神经网络算法，如SSD、Yolo、RCNN等只能实现对目标的检测和分类，而Mask-RCNN[29]算法因能精确地保存像素的位置并完成逐像素的掩膜预测，使最终的模型不仅能够进行目标检测和分类，还能够进行实例分割，因此本文选用Mask-RCNN对苗期番茄高温胁迫症状进行检测识别。Mask-RCNN架构如图5所示，具体实现过程是基于Faster-RCNN[30]模型的骨架进行实例分割，对原来结构中的感兴趣区域(Region of Interest, RoI)池化(Pooling)操作进行改进，使用不同的RoI对齐(Align)操作对模板中包含的元素进行输出，并在通过全连接层后的2个分支并行的情况下增加一个新的掩膜分支，内部结构采用全卷积网络 (Fully convolutional networks, FCN)[31]进行预测。首先采用残差网络ResNet101[32]作为主干特征提取网络(Backbone)，从网络的底层到高层分5层依次提取出番茄图像的低级特征(边缘、角、颜色等)和高级特征(叶片和茎等)，再使用特征金字塔网络(Feature pyramid networks, FPN)将高级特征传入底层，使其与低级特征融合，得到特征图，再输入到区域建议网络 ( Region proposal network, RPN) 中，RPN通过不同尺寸的锚框(Anchor)寻找特征图中存在目标的区域，形成区域建议框，每个建议框分别输出Anchor的前景边框和前景/背景分类。之后通过RoI Align过程对特征图的特征尺寸进行对齐和固定，最后使用FCN对输出特征图进行RoI实例分割，产生3个分支以避免类别竞争，其中，掩膜分支需要通过一个全卷积网络后得到，生成独立的二值掩膜，再通过全连接层后，经过Softmax层得到分类分支，产生类别标签，经过边界框回归后得到预测边界框分支，产生矩形框坐标输出，3个分支综合最终得到实例分割结果。
|
图 5 Mask-RCNN架构 Fig. 5 Mask-RCNN architecture FPN：特征金字塔网络；RPN：区域生成网络；RoI：感兴趣区域 FPN: Feature pyramid network; RPN: Region proposal network; RoI: Region of interest |
使用 Labelme 标注工具[33]对原始RGB图像数据集中5种苗期番茄高温胁迫症状进行人工标注。由于番茄叶片是不规则的物体，因此采用多边形框进行精细标注，生成了530幅带有症状掩膜标注和类别数量的图像，仅针对单幅图像的症状掩膜标注数量为2~23。
数据增强方式能在一定程度上增加样本的复杂程度，使样本更具有代表性，从而提升模型的泛化能力和鲁棒性，提高模型整体的训练效果[34]。本文使用的方法包括：改变图像的亮度和对比度；对图像进行翻转；对图像进行角度(0~360 °)旋转。在不改变图片尺寸的前提下对数据集中图像进行3倍数据增强处理，最终得到1590幅图像。对RGB数据集进行训练集、测试集和验证集的划分，比例为8∶1∶1，其中，验证集可以有效防止过拟合现象的出现。
1.4.4 胁迫症状分割模型训练本文通过迁移学习的方式使用MS_COCO数据集上的预训练权重，对苗期番茄高温胁迫症状数据集进行只调整Mask-RCNN全连接层参数的所有网络层级训练。网络训练环境是Windows 10操作系统，硬件配置为处理器Intel(R) Gold 6226 CPU @ 2.70 GHz 2.69 GHz (2个处理器)，内存256 GB，显卡采用型号NVIDIA GeForce RTX 2080Ti的图形处理器(Graphics processing unit, GPU)加速，编程语言为Python 3.6，采用Tensorflow-gpu 1.12.0和Keras 2.1.5软件库作为框架。初始学习率(Learning_rate)设置为 0.0001，权值衰减值设置为0.00001，每个周期内1次处理样本的个数(Batch_size)设置5，动量(Momentum)设置为0.9，总共训练了100个周期(Epochs)，每个周期进行10次交叉验证。将Mask-RCNN模型的主干特征提取网络设置为ResNet50、ResNet101和MobileNet，并进行对比分析，网络性能参数如表2所示。
|
|
表 2 主干特征提取网络性能参数 Table 2 Performance parameters of backbone feature extraction network |
Mask-RCNN网络采用多任务损失的形式，定义分割网络总体损失函数(L)为[35]：
| $ L={L}_{{\rm{cls}}}+{L}_{{\rm{box}}}+{L}_{{\rm{mask}}} \text{，} $ | (8) |
式中
| $ {L}_{{\rm{cls}}}=-\mathrm{lg}{p}_{K} \text{，} $ | (9) |
| $ {L}_{{\rm{box}}}=\displaystyle\sum\nolimits _{i=1}^{K}{\rm{smooth}}\left({t}_{i}^{K}-{v}_{i}\right) \text{，} $ | (10) |
| $ {L}_{{\rm{mask}}}=-\left[{s}^{*}\mathrm{lg}s+\left(1-{s}^{*}\right)\mathrm{lg}\left(1-s\right)\right] \text{，} $ | (11) |
其中，
| $ {\rm{smooth}}\left(x\right)=\left\{ {\begin{array}{*{20}{l}}{ 0.5{x}^{2} }&{ \left(\left|x\right| < 1\right)}\\ { \left|x\right|-0.5 }&{ \left(\left|x\right|\geqslant 1\right) }\end{array}} \right.。$ | (12) |
图6为采集到的部分番茄幼苗热红外图像，本试验将热红外番茄幼苗高温胁迫等级分为3类，试验第1、2天微高温适应的番茄幼苗标记为正常分类，记为等级0，试验第3、4天高温处理的番茄幼苗标记为轻度高温胁迫分类，记为等级1，试验第5、6天高温处理的番茄幼苗标记为重度高温胁迫分类，记为等级2。
|
图 6 番茄幼苗叶片热红外图像 Fig. 6 Thermal infrared images of tomato seedling leaves |
本文选用了处理器Intel (R) Core (TM) i7-7700 CPU@3.60 GHz、内存(RAM)16 GB的计算机，采用 MATLAB R2019a软件中的分类网络和模型函数进行计算。经过剔除共获得有效热红外图像540张，通过特征提取形成540条数据记录。每条数据记录由3部分组成：第1部分为降维筛选后的温度特征指标；第2部分为Mask-RCNN分割识别统计出来的5种不同高温胁迫症状的数量；第3部分为苗期番茄实际的高温胁迫等级。
选取4种常见的分类网络模型进行训练，包括NB、SVM、kNN和BPNN [36-38]。对于BPNN模型，网络结构层数设为14-30-14-3，训练回合数为30000，学习率设为0.01，初始化权重为0.5，学习速率设为0.9；对于SVM模型，使用高斯核作为核函数，采用网格搜索法确定模型训练误差惩罚因子和核函数参数，分类器设置为“ovr”构造1对多分类；对于kNN模型，近邻数设置为3。对热红外数据集进行训练集和测试集的划分，比例为2∶1。
1.6 模型评价对番茄胁迫症状/等级判别进行降维，简化为二分类问题，以胁迫症状分类为例，广义上可以理解成所有种类症状叶片和健康叶片的二分类识别问题，狭义上可以理解成单个种类的症状叶片和健康叶片的二分类识别问题。检测模型判断番茄胁迫症状/等级的混淆矩阵一般将目标分为4类，
根据混淆矩阵计算的4个参数，计算模型的评价指标。查准率(Precision,
| $ P=\dfrac{{T}_{{\rm{P}}}}{{T}_{{\rm{P}}}+{F}_{{\rm{P}}}} \text{，} $ | (13) |
| $ R=\dfrac{{T}_{{\rm{P}}}}{{T}_{{\rm{P}}}+{F}_{{\rm{N}}}} \text{，} $ | (14) |
| $ {\rm{IoU}}=\dfrac{{T}_{{\rm{P}}}}{{T}_{{\rm{P}}}+{F}_{{\rm{P}}}+{F}_{{\rm{N}}}} \text{，} $ | (15) |
| $ A=\dfrac{{T}_{{\rm{P}}}+{T}_{{\rm{N}}}}{{T}_{{\rm{P}}}+{F}_{{\rm{P}}}+{F}_{{\rm{N}}}+{T}_{{\rm{N}}}} \text{，} $ | (16) |
| $ {{\rm{M}}}{{\rm{CC}}} = \dfrac{{T}_{{\rm{P}}}{T}_{{\rm{N}}}-{F}_{{\rm{P}}}{F}_{{\rm{N}}}}{\sqrt{\left({T}_{{\rm{P}}}+{F}_{{\rm{P}}}\right)\left({T}_{{\rm{P}}}+{F}_{{\rm{N}}}\right)\left({T}_{{\rm{N}}}+{F}_{{\rm{P}}}\right)\left({T}_{{\rm{N}}}+{F}_{{\rm{N}}}\right)}} \text{，} $ | (17) |
| $ {F}_{1}=\dfrac{2PR}{P+R} \text{，} $ | (18) |
| $ {\rm{AP}}={\displaystyle\int }_{0}^{1}\left(PR\right)\mathrm{d}R \text{，} $ | (19) |
| $ \mathrm{m}\mathrm{A}\mathrm{P}=\dfrac{\displaystyle\sum\nolimits _{i=1}^{N}{\rm{AP}}}{N}=\dfrac{\displaystyle\sum\nolimits _{i=1}^{N}\left[{\displaystyle\int }_{0}^{1}\left(PR\right)\mathrm{d}R\right]}{N} \text{，} $ | (20) |
其中
基于PLA模型计算的14个温度特征指标的相关系数和主成分贡献率如表3所示。由表3可见，特征指标
|
|
表 3 温度特征指标的相关系数和主成分贡献率 Table 3 Correlation coefficient and principal component contribution rate of temperature characteristic indicators |
筛选出所有特征指标中贡献率大于3%的7个特征指标作为分类模型输入主成分，从大到小分别是变异系数(
分别从测试集轻度和重度胁迫分级RGB图像中随机选取1张输入Mask-RCNN模型后，人工标注的掩膜图像和3种不同主干特征提取网络输出的胁迫症状预测结果如图7所示。对于轻度胁迫图像，人工标注8个症状，ResNet50模型正确预测出7个症状，漏检1个；ResNet101模型正确预测出7个症状，漏检1个；MobileNet模型正确预测出6个症状，漏检2个。对于重度胁迫图像，人工标注12个症状，ResNet50模型正确预测出9个症状，漏检1个，混叠1个，错检1个；ResNet101模型正确预测出9个症状，漏检1个，混叠1个，错检1个；MobileNet模型正确预测出8个症状，漏检2个，混叠1个，错检1个。
|
图 7 3种不同主干特征提取网络不同程度胁迫预测结果 Fig. 7 Prediction results of different stresses on three different backbone feature extraction networks |
在所有的5种胁迫症状中，观察到黄化、枯萎和收缩症状的检测平均置信度更高，而卷曲和下垂检测平均置信度稍低，可能是因为在对番茄幼苗叶片进行特征提取时，卷曲症状主要提取叶片边缘的异常形状特征，下垂症状主要提取叶片中上部和叶面积相对小的异常形状特征，因此这2种边缘特征较难以区分；而收缩症状主要提取边缘叶背像素值，枯萎症状主要提取局部枯萎褐色像素值，黄化症状主要提取叶片整体范围内的变黄像素值，这3种像素颜色特征相对较易区分。
针对漏检和混叠的症状，可能是因为番茄幼苗叶片分布密集，互相之间形成遮挡，而图像采集过程中因为高度差异、叶片边缘近似等因素影响没能对焦，导致显示出来的症状特征面积较小或者较为模糊；错检的症状可能是因为叶片具有复合的症状特征，因此虽然可以检测出异常，但难以进行正确的分类。当然这些漏检、错检的症状指标也不排除人为标注时的主观因素判断带来的误差。
更进一步，在对胁迫症状进行分割生成掩膜的过程中，可以看到ResNet101模型的掩膜区域对症状叶片的覆盖效果最准确，ResNet50模型对边缘角度较大的区域识别效果不好，其余检测效果接近ResNet101模型，而MobileNet模型仅分割出相应的范围，误差较大，相比于另外2种模型，均多漏检了1个症状，这可能是因为该主干特征提取网络容量较小，因此对小面积的叶片胁迫症状特征识别精度不高。因此在3种主干特征提取网络中，ResNet101模型可以取得最好的分割效果，ResNet50模型次之，MobileNet模型最差，测试集中其他胁迫图像分割结果与之类似。
由于预测结果图只能对个别图像的分割效果进行展示，因此对IoU=0.5时3种不同主干特征提取网络Mask-RCNN模型分割精度进行统计，结果如表4所示。对于3种主干特征提取网络来说，随着图像胁迫等级的加重，番茄幼苗的叶片在生长的同时胁迫症状也变得更加交错复杂，导致整体模型的分割精度指标都有所下降，即轻度胁迫的检测效果要优于重度胁迫，其中，ResNet101网络在轻度胁迫图像数据集达到最好的分割效果，各项指标均为最高；但是识别的整体性或者说预测像素的完整度不够高，包括一些漏检、混叠、错检现象的存在，其中，MobileNet模型在重度胁迫图像数据集的分割效果最差，各项指标均为最低。Mask-RCNN+ResNet101模型分割结果能够较好地反映总体样本中的症状特征指标，为输入分类模型的数据提供良好的研究基础和分级依据。
|
|
表 4
|
Mask-RCNN+ResNet101模型损失函数值变化曲线如图8所示。可见，随着训练周期数的增加，模型训练集的损失函数值由2.097下降到0.152，模型验证集的损失函数值由2.468下降到0.898，虽然在训练过程中损失函数值在小范围内有一定的波动，可能是训练样本个体间的特征差异造成的，但总体损失函数呈下降趋势，并逐渐收敛，和Mask-RCNN+ResNet50模型、Mask-RCNN+MobileNet模型损失函数曲线变化趋势基本一致，说明深度学习模型整体训练情况良好。
|
图 8 Mask-RCNN+ResNet101模型损失函数值变化曲线 Fig. 8 Change curve of loss function value of Mask-RCNN+ResNet101 model |
图9为4种不同模型测试集分级结果混淆矩阵，为了方便对分类模型总体评价指标进行计算，将混淆矩阵简化成二分类问题。从测试集的角度来看，所有180个样本经过随机分配后获得79个健康样本(0)、44个轻度胁迫样本(1)和57个重度胁迫样本(2)。一般归类错误样本都集中在比较靠近所分类别旁边的等级，符合样本数据的实际分布特性。分级模型整体的分类效果较好，可能是因为总体样本数固定，所以相对的训练集中健康样本较少、胁迫样本较多，存在非均衡训练的情况。
|
图 9 4种不同模型测试集分类结果混淆矩阵 Fig. 9 Confusion matrices of classification results of test sets of four different models 绿色方格代表分类正确样本，其中数字为样本数量和所占总体样本的比例；红色方格代表分类错误样本；浅灰色方格中数字代表测试集样本每一行和列的真阳性率(绿色)和假阴性率(红色)；深灰色方格中数字代表测试集样本的总体准确率(绿色)和总体错误率(红色) Green squares represent correctly classified samples, where the numbers are the number of samples and the proportion of the total sample; Red squares represent misclassified samples; The numbers in the light gray squares represent the true positive rate (green) and false negative rate (red) for each row and column of the test set sample; The numbers in the dark gray squares represent the overall accuracy (green) and overall error (red) of the test set samples |
4种不同的分类网络模型在测试集上的高温胁迫分级精度如表5所示，BPNN的分类预测效果最好，准确率达95.6%，各项评价指标也均为最高，可能是因为BPNN采用了人工神经网络的复杂结构，具有良好的学习训练效果；SVM次之，可能是因为相比于2个模型有更好的超参数调整结构，利用误差惩罚因子和核参数来进行优化；kNN虽然没有固定的数学模型，但通过找最邻近分类的方式要好于仅使用概率模型分类的NB。针对模型中局部变异不均等的评价指标分布特征，仅kNN的查全率高于SVM，NB和KNN的查准率相同，这可能是因为不同的分类模型算法结构、优化参数侧重不同造成的。综合番茄幼苗的热红外温度特征指标和RGB胁迫症状分割指标，4种模型的分级准确率均达到了90%以上，说明选取的特征指标和胁迫等级间具有良好的相关性。
|
|
表 5 不同分类网络模型的苗期番茄高温胁迫分级精度 Table 5 Classification accuracy of high temperature stress of tomato at seedling stage with different classification network model |
本文提出了一种基于热红外和RGB图像的苗期番茄高温胁迫检测方法，结论如下：
通过苗期番茄的热红外图像，获取番茄冠层温度参数，将冠层温度能量分布进行反演可视化，通过温度阈值剔除背景干扰，采用PLS模型从14个特征指标中降维提取7个作为胁迫分级检测模型输入参数，累计主成分贡献率达95.45%。
基于深度卷积神经网络Mask-RCNN，通过迁移学习的方式在3种不同的主干特征提取网络ResNet50、ResNet101和MobileNet对数据增强后的苗期番茄RGB图像进行胁迫症状实例分割，其中，Resnet101+Mask-RCNN模型分割精度最高，对轻度和重度胁迫的
将筛选出的7个温度特征指标和MASK-RCNN模型分割出的5个胁迫症状特征指标构建分级数据集作为模型输入，NB、SVM、kNN和BPNN这4种胁迫分级检测模型在测试集的分级准确率分别为90.6%、93.3%、91.7%和95.6%，其中BPNN模型能获得最好的胁迫分级效果。
目前检测方法的处理流程较为复杂，后续可以通过批量处理、流程简化、软件统一化进行通用性改进和优化，以便移植到相应的检测装置、移动设备、农业装备或者农业机器人，实现更好的胁迫检测效果和实际场景应用价值。
| [1] |
ZHANG J, JIANG X D, LI T L, et al. Photosynthesis and ultrastructure of photosynthetic apparatus in tomato leaves under elevated temperature[J]. Photosynthetica, 2014, 52(3): 430-436. DOI:10.1007/s11099-014-0051-8 (  0) |
| [2] |
巩文睿, 金萍, 钟启文. 设施农业物联网技术应用现状与发展建议[J]. 农业科技管理, 2017, 36(4): 20-23. DOI:10.16849/j.cnki.issn1001-8611.2017.04.006 ( 0) |
| [3] |
ZHOU R, KONG L, WU Z, et al. Physiological response of tomatoes at drought, heat and their combination followed by recovery[J]. Physiologia Plantarum, 2019, 165(2): 144-154. ( 0) |
| [4] |
WEN J Q, JIANG F L, LIU M, et al. Identification and expression analysis of Cathepsin B-like protease 2 genes in tomato at abiotic stresses especially at high temperature[J]. Scientia Horticulturae, 2021, 277(10): 109799. ( 0) |
| [5] |
TORRES G M, LOLLATO R P, OCHSNER T E. Comparison of drought probability assessments based on atmospheric water deficit and soil water deficit[J]. Agronomy Journal, 2013, 105(2): 428-436. DOI:10.2134/agronj2012.0295 ( 0) |
| [6] |
WISHART J, GEORGE T S, BROWN L K, et al. Field phenotyping of potato to assess root and shoot characteristics associated with drought tolerance[J]. Plant and Soil, 2014, 378(1/2): 351-363. ( 0) |
| [7] |
ZHOU Z, MAJEED Y, DIVERRES NARANJO G, et al. Assessment for crop water stress with infrared thermal imagery in precision agriculture: A review and future prospects for deep learning applications[J]. Computers and Electronics in Agriculture, 2021, 182: 106019. ( 0) |
| [8] |
CHANDEL A K, KHOT L R, YU L X. Alfalfa (Medicago sativa L. ) crop vigor and yield characterization using high-resolution aerial multispectral and thermal infrared imaging technique
[J]. Computers and Electronics in Agriculture, 2021, 182: 105999. ( 0) |
| [9] |
HOU M J, TIAN F, ORTEGA-FARIAS S, et al. Estimation of crop transpiration and its scale effect based on ground and UAV thermal infrared remote sensing images[J]. European Journal of Agronomy, 2021, 131: 126389. DOI:10.1016/j.eja.2021.126389 ( 0) |
| [10] |
DAS S, CHAPMAN S, CHRISTOPHER J, et al. UAV-thermal imaging: A technological breakthrough for monitoring and quantifying crop abiotic stress to help sustain productivity on sodic soils: A case review on wheat[J]. Remote Sensing Applications Society and Environment, 2021, 23: 100583. DOI:10.1016/j.rsase.2021.100583 ( 0) |
| [11] |
ZHU W, CHEN H, CIECHANOWSKA I, et al. Application of infrared thermal imaging for the rapid diagnosis of crop disease[J]. IFAC-PapersOnLine, 2018, 51(17): 424-430. DOI:10.1016/j.ifacol.2018.08.184 ( 0) |
| [12] |
LACERDA L N, SNIDER J L, COHEN Y, et al. Using UAV-based thermal imagery to detect crop water status variability in cotton[J]. Smart Agricultural Technology, 2022, 2: 100029. DOI:10.1016/j.atech.2021.100029 ( 0) |
| [13] |
TIAN F, HOU M, QIU Y, et al. Salinity stress effects on transpiration and plant growth under different salinity soil levels based on thermal infrared remote (TIR) technique[J]. Geoderma, 2020, 357: 113961. DOI:10.1016/j.geoderma.2019.113961 ( 0) |
| [14] |
MA S, BI Y, ZHANG Y, et al. Thermal infrared imaging study of water status and growth of arbuscular mycorrhizal soybean (Glycine max) under drought stress
[J]. South African Journal of Botany, 2022, 146: 58-65. DOI:10.1016/j.sajb.2021.09.037 ( 0) |
| [15] |
BANERJEE K, KRISHNAN P. Normalized sunlit shaded index (NSSI) for characterizing the moisture stress in wheat crop using classified thermal and visible images[J]. Ecological Indicators, 2020, 110: 47-59. ( 0) |
| [16] |
SINGH A, GANAPATHYSUBRAMANIAN B, SINGH A K, et al. Machine learning for high-throughput stress phenotyping in plants[J]. Trends in Plant Science, 2016, 21(2): 110-124. DOI:10.1016/j.tplants.2015.10.015 ( 0) |
| [17] |
SINGH A K, SINGH, GANAPATHYSUBRAMANIAN B, SARKAR S, et al. Deep learning for plant stress phenotyping: Trends and future perspectives[J]. Trends in Plant Science, 2018, 23(10): 883-898. DOI:10.1016/j.tplants.2018.07.004 ( 0) |
| [18] |
ANAMI B S, MALVADE N N, PALAIAH S. Deep learning approach for recognition and classification of yield affecting paddy crop stresses using field images[J]. Artificial Intelligence in Agriculture, 2020, 4: 12-20. DOI:10.1016/j.aiia.2020.03.001 ( 0) |
| [19] |
ZHOU J, LI J X, WANG C S, et al. Crop disease identification and interpretation method based on multimodal deep learning[J]. Computers and Electronics in Agriculture, 2021, 189: 106408. ( 0) |
| [20] |
MOON S K, AMJAD M, QURESHI M, et al. Use of deep learning techniques for identification of plant leaf stresses: A review[J]. Sustainable Computing: Informatics and Systems, 2020, 28: 100443. DOI:10.1016/j.suscom.2020.100443 ( 0) |
| [21] |
SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[EB/OL]. arXiv: 1409. 1556. (2014-01-01) [2022-01-10]. https://arXiv.org/abs/1409.1556.
( 0) |
| [22] |
SZEGEDY C, VANHOUCKE V, IOFFE S, et al. Rethinking the inception architecture for computer vision[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, USA: IEEE. 2016: 2818-2826.
( 0) |
| [23] |
WU S J, ZHONG S H, LIU Y. Deep residual learning for image steganalysis[J]. Multimedia Tools and Applications, 2018, 77(9): 10437-10453. DOI:10.1007/s11042-017-4440-4 ( 0) |
| [24] |
JI M M, WU Z B. Automatic detection and severity analysis of grape black measles disease based on deep learning and fuzzy logic[J]. Computers and Electronics in Agriculture, 2022, 193: 106718. DOI:10.1016/j.compag.2022.106718 ( 0) |
| [25] |
LIPPMANN R, BABBEN S, MENGER A, et al. Development of wild and cultivated plants under global warming conditions[J]. Current Biology, 2019, 29(24): R1326-R1338. DOI:10.1016/j.cub.2019.10.016 ( 0) |
| [26] |
易平涛, 李伟伟, 郭亚军. 线性无量纲化方法的结构稳定性分析[J]. 系统管理学报, 2014, 23(1): 104-110. DOI:10.3969/j.issn.1005-2542.2014.01.015 ( 0) |
| [27] |
MA J Y, MA Y, LI C. Infrared and visible image fusion methods and applications: A survey[J]. Information Fusion, 2019, 45: 153-178. ( 0) |
| [28] |
WESTERHUIS J A, KOURTI T, MACGREGOR J F. Analysis of multiblock and hierarchical PCA and PLS models[J]. Journal of Chemometrics, 1998, 12(5): 301-321. ( 0) |
| [29] |
HE K M, GKIOXARI G, DOLLÁR P, et al. Mask-R-CNN[C]// 2017 IEEE International Conference on Computer Vision. Veniu, Italy: IEEE, 2017: 2961-2969.
( 0) |
| [30] |
REN S Q, HE K M, GIRSHICK R, et al. Faster R-CNN: Towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137-1149. ( 0) |
| [31] |
LONG J, SHELHAMER E, DARRELL T. Fully convolutional networks for semantic segmentation[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston, USA: IEEE, 2015: 640-651.
( 0) |
| [32] |
HE K M, ZHANG X Y, REN S Q, et al. Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, USA: IEEE, 2015: 1512-1516.
( 0) |
| [33] |
RUSSELL B C, TORRALBA A, MURPHY K P, et al. LabelMe: A database and web-based tool for image annotation[J]. International Journal of Computer Vision, 2008, 77(1/2/3): 157-173. DOI:10.1007/s11263-007-0090-8 ( 0) |
| [34] |
穆龙涛, 高宗斌, 崔永杰, 等. 基于改进AlexNet的广域复杂环境下遮挡猕猴桃目标识别[J]. 农业机械学报, 2019, 50(10): 24-34. DOI:10.6041/j.issn.1000-1298.2019.10.003 ( 0) |
| [35] |
乔虹, 冯全, 赵兵, 等. 基于Mask R-CNN的葡萄叶片实例分割[J]. 林业机械与木工设备, 2019, 47(10): 15-22. DOI:10.3969/j.issn.2095-2953.2019.10.003 ( 0) |
| [36] |
AMARO E G, CANALES J C, CABRERA J E, et al. Identification of diseases and pests in tomato plants through artificial vision[M]//Intelligent Computing Methodologies. Cham: Springer International Publishing, 2020: 98-109.
( 0) |
| [37] |
LI Y R, YANG K M, GAO W, et al. A spectral characteristic analysis method for distinguishing heavy metal pollution in crops: VMD-PCA-SVM[J]. Spectrochimica Acta Part A: Molecular and Biomolecular Spectroscopy, 2021, 255: 119649. DOI:10.1016/j.saa.2021.119649 ( 0) |
| [38] |
ANAMI B S, MALVADE N N, PALAIAH S. Classification of yield affecting biotic and abiotic paddy crop stresses using field images[J]. Information Processing in Agriculture, 2020, 7(2): 272-285. ( 0) |