草坪作为绿地组成的一种基本要素，对城市景观与生态文明有着重大影响^[1]。杂草与草坪争抢生长空间，滋生病虫害，是造成草坪退化的重要因素之一^[2]。除草剂以经济、高效、省力的优势成为目前草坪杂草管理的主要方式^[3]。然而除草剂的大范围使用不仅会加剧杂草的抗药性问题，同时也会对公园、运动场等公共区域的人群健康带来威胁^[4]。基于机器视觉的草坪杂草识别技术可以实现植保机器人的定点精准施药，降低除草剂的使用成本和环境危害，促进了农业智能化和精细化作业。近年来，专家学者围绕杂草检测进行了许多相关方面的研究。Jin等^[5]使用经过训练的CenterNet模型检测蔬菜作物并绘制边界框，将边界框外的对象视为背景，利用遗传算法评估提出背景绿色区域检测算子，完成对杂草的分割。针对草坪杂草的检测，Yu等^[6]利用卷积神经网络模型对草坪阔叶杂草展开研究，通过对比AlexNet、GoogLeNet和VGGNet发现，VGGNet网络在高杂草密度和低杂草密度情况下的检测结果均优于AlexNet和GoogLeNet。上述方法均需要借助专家手工标记信息训练分类器，完成图像的分割任务。无监督方法避免了训练时分类器的参数调节过程，有利于降低算法整体复杂度。Watchareeruetai等^[7]通过提取草坪图像的边缘信息，统计杂草边缘与草坪草叶片边缘的纹理特征识别杂草，对阔叶杂草的识别准确率达到了89%。Parra等^[8]对检测图像进行分块，通过融合不同大小图像块的锐化滤波和拉普拉斯滤波结果扩大草坪与杂草的特征差异，对融合后的图像进行阈值分割提取杂草区域，分割结果的F1值最高达到83%。上述无监督方法多从图像的边缘特征与纹理特征进行研究，且研究对象主要为草坪阔叶草，目标识别准确率较低。

模糊C均值(Fuzzy C-means, FCM)聚类是一种经典的无监督分类方法，被广泛应用于图像分割问题^[9]。但传统的FCM算法没有考虑到图像中的空间信息，对图像中的噪声较为敏感，难以在含噪图像中取得较好的分割结果。对FCM算法的抗噪声性能改进通常考虑图像的局部和非局部空间信息。基于非局部空间信息的FCM算法^[10]需要计算搜索窗内的每一个像素与当前像素的相似度，计算复杂度较高。基于图像局部空间信息的改进通常只考虑区域的灰度和隶属度的大小^[11]，而忽略了区域内的灰度分布特征。目前，草坪杂草的无监督识别主要集中于阔叶杂草，对细叶杂草的识别研究较少；对于图像的空间信息利用研究主要集中于像素相似性算法的研究，或仅利用邻域内的数值信息，忽略了邻域内部的分布特征。本文利用FCM算法开展能同时适用于阔叶杂草和细叶杂草识别的算法研究，提出一种基于局部灰度分布特征的改进FCM算法，以解决杂草与草坪颜色相近导致杂草难以分割的问题；在预处理过程中利用超绿算子提取感兴趣区域，去除枯叶土壤等无关信息，融合HSV空间的多通道信息以扩大杂草与草坪的特征差异。使用区域面积约束滤波范围，减少融合图像中的草坪背景噪声并保证了杂草目标分割的连续性；提出一种各向灰度分布差异检测算子，将局部灰度分布特征引入FCM聚类，完成草坪杂草分割目标。

1 材料与方法 1.1 供试材料

试验环境为MATLAB 2016b、i5-9300H处理器、16 G内存。采用索尼DSC-W830数码相机作为图像采集设备，分别于2020年10、11月在江南大学校园采集杂草样本。拍摄天气为晴天、多云或阴天，拍摄方式为手持垂直离地约30 cm。根据草坪和杂草的不同生长状态，选择如图1所示的8种草坪杂草图像样本进行试验，杂草状态特征描述如表1所示。

1.2 HSV空间多通道融合预处理

超绿分割(Extra-green segmentation，ExG)算子^[12]可以有效抑制原始输入图像中的枯叶、土壤等非相关信息。设输入图像为f(x,y),利用ExG算子得到的图像为f_ExG(x,y)，则图像的超绿分割如式(1)所示：

$ \left\{ \begin{array}{l} {\rm{ExG}} = 2 G - R - B \hfill \\ {f_{\rm{ExG}}} = {\rm{OTSU}}{({x})} \times f(x,y) \hfill \\ \end{array} \right. ,$

(1)

式中，R,G,B分别为f(x,y)的RGB三通道分量，OTSU(x)表示采用最大类间方差法^[13]二值化。

由于杂草颜色与草坪草叶片颜色相近，目标与背景的差异性不明显，因此还需要进一步处理以扩大杂草与草坪的灰度差异。sigmoid函数^[14]是一种常用的非线性归一化函数，利用sigmoid函数代替线性归一化函数能有效抑制小灰度区域噪声，同时有利于增强目标区域的灰度信息，本文采用的sigmoid函数如式(2)所示。

$ {f_{{\text{normalize}}}}(x) = \dfrac{1}{{1 + \exp \left( - 10 \times \dfrac{{x - \min (x)}}{{\max (x) - \min (x)}} + 5\right)}} {。}$

(2)

将f_ExG(x,g)转换到HSV颜色空间，由于图像经过超绿分割，枯叶、土壤等相关像素已被抑制，因此在h分量上草坪与杂草响应几乎相同，但由于杂草和草坪并非完全相同，因此两者在s分量和v分量上仍具有差异性。本文采用如式(3)所示的融合策略完成图像预处理，所得预处理图像如图2所示。

$ \begin{split}& \quad\quad\quad\quad\quad\;\;\; {\rm{sv}}(x,y) = \left| {s(x,y) - v(x,y)} \right| \hfill \\& \quad\quad\quad\quad\quad\;\;\; {\rm{sh}}(x,y) = \left| {s(x,y) - h(x,y)} \right| \hfill \\& \;\;\;\; g(x,y) = \min \{ {f_{{\text{normalize}}}}[\left| {{\text{sv}}(x,y) - {\text{sh}}(x,y)} \right| \times h(x,y)],\\&\quad\quad\quad\quad\quad\;\;{f_{{\text{normalize}}}}[{\text{sv}}(x,y) \times h(x,y)]\} , \end{split} $

(3)

式中，s,h,v分别为图像f_Exg(x,g)的HSV通道分量，g(x,y)为预处理后的图像。

1.3 传统FCM算法

传统FCM算法将样本对于类别的不确定度引入聚类分析过程中，能有效避免硬聚类算法易陷于局部极小值的缺陷，已成为图像分割领域最常用的方法之一。FCM算法的一般目标函数如式(4)所示：

$\begin{split}& J({u_{ij}},{c_i}) = \sum\limits_{i = 1}^K {\sum\limits_{j = 1}^N {u_{ij}^m} {{\left\| {{x_j} - {v_i}} \right\|}^2}} ,\\ &\;{\text{ s}}{\text{.t}}{\text{.}}\sum\limits_{{{i}} = {\text{1}}}^{{K}} {{{{u}}_{{{ij}}}} = 1,j = 1,2,\cdots , N} {\text{ }} , \end{split}$

(4)

式中，m为模糊因子，v_i为聚类中心，u_ij表示样本x_j对聚类中心v_i的隶属度。

对于具有2个变量的目标函数J(u_ij)，通过迭代交替求解聚类中心和隶属度矩阵求解函数极小值，具体算法流程为：

步骤1：初始化隶属度矩阵u_ij，选择算法的最大迭代次数T以及迭代阈值ε，令当前迭代次数t=1;

步骤2：由隶属度矩阵计算聚类中心如式(5)所示：

$ {c_i} = \frac{{\sum\limits_{j = 1}^N {u_{ij}^m} {x_j}}}{{\sum\limits_{j = 1}^N {u_{ij}^m} }} 。$

(5)

步骤3：由聚类中心更新隶属度矩阵如式(6)所示：

$ {{\boldsymbol{u}}_{{\boldsymbol{ij}}}} = \frac{1}{{\sum\limits_{l = 1}^K {{{\left(\frac{{\left\| {{x_j} - {v_i}} \right\|}}{{\left\| {{x_j} - {v_l}} \right\|}}\right)}^{\frac{2}{{m - 1}}}}} }} 。$

(6)

步骤4：将v_i和u_ij代入式(4)计算第t次迭代时的目标函数值J^(t)。若|| J^(t+1)−J^(t)||<ε或t>T则算法结束；否则，t=t+1，转到步骤2。

1.4 基于各向灰度分布差异约束的FCM算法 1.4.1 面积约束下的中值滤波

经预处理后的草坪杂草图像杂草前景相对突出，但是由于草坪草叶片数量较多，且存在叶片边缘、光照等偶然因素的干扰，预处理图像中仍存在较多的噪声干扰。因此需要对小面积噪声区域进行中值滤波去噪。为了尽可能保证图像信息的完整性，引入面积特征筛选中值滤波区域。对经OTSU算法处理的预处理图像进行闭运算，以8连通域准则提取图像的区域面积，设每个像素点对应的区域面积信息矩阵为A(x,y) ，则基于面积信息的中值滤波表示如式(7)所示，滤波结果如图3所示。由图3可以看出，引入面积约束进行中值滤波，可以较好地保持杂草叶片的细节信息，降低中值滤波对杂草分割连续性的影响。

$ {g_{{\text{mid}}}}(x,y) = \left\{ \begin{array}{l} g(x,y){\text{ , }}{\boldsymbol{A}}({\boldsymbol{x}},{\boldsymbol{y}}) < A_{ {\text{mean}}} \hfill \\ {\text{medfilt[}}g(x,y){\text{] , }}{\boldsymbol{A}}({\boldsymbol{x}},{\boldsymbol{y}}) \geqslant A_{{\text{mean}}} \hfill \\ \end{array} \right. ,$

(7)

式中，A_mean为连通域的平均面积，medfilt(x)为中值滤波函数，本文选定的中值滤波窗口为矩形3×3窗口。

1.4.2 各向灰度分布差异信息提取

常见的图像邻域局部信息获取方式如局部线性加权^[15]、非线性灰度拟合^[16]等，有效利用了像素的邻域灰度值信息，但是仍忽略了局部区域的不同方向灰度分布的差异性。因此本文提出一种各向灰度分布差异(Difference of gray distribution in different directions, DGD)检测算子如图4所示。

该检测算子大小为9×9，在方向1、3、5、7上分别有9个邻域像素点，在方向2、4、6、8上有5个像素，检测时将待测像素置于检测算子中心位置，则该像素点的DGD特征可以由各方向灰度和方差表示如式(8)所示。

$ d(x,y) = \frac{{\displaystyle\sum\limits_{n = 1}^8 {{{({s_n} - \overline s )}^2}} }}{8} ,$

(8)

式中，s_n为检测算子在各方向上的邻域像素灰度和， $ \overline s $ 为8个方向的灰度和均值。d(x,y)为像素点(x,y) 对应的DGD特征。

无论是草坪叶片还是杂草叶片，在自然环境下，叶片表面灰度存在波动变化。当不同像素的组内各方向灰度和具有相同的离散系数时，采用本文预处理方法的图像杂草区域的平均灰度级会高于背景区域，因此DGD特征可以有效地区分杂草与草坪，如图5所示。从图5a中可以看出，经预处理融合策略与中值滤波处理后，草坪背景仍有部分区域具有与目标相当的灰度，而该类区域提取的DGD特征相对杂草目标则相对较小。但是由于DGD特征通过窗口滑动提取，因此对目标的边缘响应不够灵敏，直接应用于图像分割会造成图像边缘区域的过分割。因此需要结合图像灰度特征完成图像的准确分割。

1.4.3 融合DGD特征的改进FCM算法

传统的FCM算法在应用于图像分割问题时仅考虑图像的灰度信息。由于草坪杂草图像中草坪和杂草颜色相近，直接进行聚类难以有效分割出草坪杂草。因此，本文在传统FCM算法的基础上引入DGD特征，构建FCM_DGD的目标函数如式(9)所示：

$\begin{split} {J_{{\text{DGD}}}}(u,v) =& \sum\limits_{i = 1}^c {\sum\limits_{j = 1}^n {u_{ij}^m} {{\left\| {{x_j} - {v_i}} \right\|}^2}} + \alpha \sum\limits_{i = 1}^c {\sum\limits_{j = 1}^n {u_{ij}^m} {{\left\| {{d_j} - {v_i}} \right\|}^2}} ,\\&{\text{ s}}{\text{.t}}{\text{.}}\sum\limits_{{{i}} = {\text{1}}}^{{K}} {{{{u}}_{{{ij}}}} = 1,j = 1,2,\cdots , N} {\text{ }} ,\\[-10pt] \end{split}$

(9)

式中， $\displaystyle\sum\limits_{i = 1}^c {\sum\limits_{j = 1}^n {u_{ij}^m} {{\left\| {{x_j} - {v_i}} \right\|}^2}}$ 为传统FCM算法的目标函数，c为聚类数量,n为样本数量，m为模糊因子, v_i为聚类中心，u_ij表示样本x_j对聚类中心v_i的隶属度，d_j为样本对应的DGD特征。参数α控制DGD特征在聚类过程中的作用，α取值越大，DGD特征在聚类过程中发挥的作用越大。在本文的研究中，将DGD特征对目标函数的加权因子设为1，模糊因子按常用值(m=2)取值。

利用拉格朗日乘子将限制式引入式(9)，结果如式(10)所示：

$\begin{split} & \;\;\;\;\;{J_{{\rm{DGD}}}}(u,v{\rm{,}}\lambda ) = \sum\limits_{i = 1}^c {\sum\limits_{j = 1}^n {u_{ij}^m} } {\left\| {{x_j} - {v_i}} \right\|^2} + \\& \alpha \sum\limits_{i = 1}^c {\sum\limits_{j = 1}^n {u_{ij}^m} } {\left\| {{d_j} - {v_i}} \right\|^2} + \sum\limits_{{{j}} = 1}^{{n}} {{\lambda _j}} \sum\limits_{{{i}} = 1}^{{c}} {(1 - {u_{ij}})} {\text{。}} \end{split}$

(10)

在式(10)中，分别对u、v求偏导，令偏导数等于0，得到隶属度u_ij和聚类中心v_j的迭代式如式(11)、(12)所示：

$ {u_{ij}} = \dfrac{1}{{\displaystyle\sum\limits_{k = 1}^c {{{\left(\dfrac{{{{\left\| {{x_j} - {v_i}} \right\|}^2} + \alpha {{\left\| {{d_j} - {v_i}} \right\|}^2}}}{{{{\left\| {{x_j} - {v_k}} \right\|}^2} + \alpha {{\left\| {{d_j} - {v_k}} \right\|}^2}}}\right)}^{\frac{1}{{m - 1}}}}} }}, $

(11)

$ {v_i} = \dfrac{{\displaystyle\sum\limits_{j = 1}^n {u_{ij}^m({x_j} + \alpha {d_j})} }}{{(1 + \alpha )\displaystyle\sum\limits_{j = 1}^n {u_{ij}^m} }}。$

(12)

融合DGD特征的改进FCM算法流程为：

步骤1：计算图像的DGD特征信息；

步骤2：初始化隶属度矩阵u_ij，选择算法的最大迭代次数T以及迭代阈值ε，令当前迭代次数t=1;

步骤3：分别由式(11)和式(12)更新计算隶属度矩阵和聚类中心；

步骤4：若 $ \left\| {J_{{\text{DGD}}}^{{\text{(}}t + {\text{1)}}} - J_{{\text{DGD}}}^{{\text{(}}t{\text{)}}}} \right\| < \varepsilon $ 或迭代次数t>T，算法结束；否则，t=t+1,转到步骤3；

本文算法的整体流程如图6所示。首先，利用超绿分割算子提取图像的检测主体与背景，在HSV颜色空间利用不同颜色通道中杂草与草坪的差异性突出杂草目标，完成预处理；然后，根据预处理图像提取图像的面积特征约束中值滤波范围，计算基于像素点的各向灰度分布差异性，得到基于图像局部信息的杂草与草坪差异化特征；最后，将所得局部特征与灰度特征相结合进行模糊聚类，完成草坪杂草图像的分割。

1.5 草坪杂草分割结果的定量评价方法

为了定量评价本文算法的分割效果，通过Photoshop手工标记草坪杂草分割真值图像，计算分割准确率(Segmentation accuracy, SA)、欠分割率(Under segmentation rate, UR)和过分割率(Over segmentation rate, OR)，形成算法的客观评价参数，其计算方法如式(13)~(15)所示：

$ {\text{SA}} = {\text{(1 }}-\frac{{\left| {{R_{\text{S}}} - {T_{\text{S}}}} \right|}}{{{R_{\text{S}}}}}{\text{)}} \times 100{\text{%}} \text{，} $

(13)

$ {\text{UR}} = \frac{{{U_{\text{S}}}}}{{{R_{\text{S}}} + {O_{\text{S}}}}} \times {\text{100}}{\text{%}} \text{，} $

(14)

$ {\text{OR}} = \frac{{{O_{\text{S}}}}}{{{R_{\text{S}}} + {O_{\text{S}}}}} \times 100{\text{%}} \text{，} $

(15)

式中，R_S表示分割目标的真值图像像素个数，T_S表示算法分割出的像素个数，U_S表示包含在R_S中但不在T_S中的像素个数，O_S表示在T_S中但不在R_S的像素个数。 SA值越大，表示算法分割结果与真值图像越相近，分割效果越好。同理，UR和OR值越小，分别表示被误判为背景和被误判为前景的像素越少，算法的分割效果越好。

2 结果与分析 2.1 草坪杂草分割结果的主观评价

为了更好地检验算法的鲁棒性，选择如图1所示的多种草坪生长状态的不同种杂草进行试验。将本文算法(DGDFCM)与传统FCM、FCM-S2、FCMNLS算法以及文献[17]的RSFCM算法进行对比，结果见图7。从图7中可以看出，经本文预处理后，上述5种方法都能有效地分割出杂草。FCM算法由于仅考虑图像灰度，对图像的空间信息利用不足，存在对草坪杂草的过分割。FCM-S2算法利用局部灰度中值将局部空间信息引入聚类目标函数中，一定程度上优化了传统FCM算法的不足，但对灰度分布相对均匀的噪声区域分割效果欠佳。FCMNLS算法基于像素的非局部空间信息对灰度相近的像素点进行区分，对噪声区域产生了较好的分割效果；然而，当目标边缘灰度相对整体较暗时，目标边缘易被误判为噪声区域，造成目标的欠分割。RSFCM算法利用图像的空间上下文信息建立了一种新的可靠性模糊度量指标，达到了抑制噪声和保持边缘的目的；但是，因为RSFCM具有良好的边缘保持性，当出现强噪声的区域面积较大的情况时，此区域易被判别为细小目标区域，导致对草坪的过分割。本文算法对大多数噪声区域抑制效果较好，实现了较为理想的杂草分割效果。

2.2 草坪杂草分割结果的客观评价

将图7中各算法与真值图像相比较，计算分割准确率(SA)、欠分割率(UR)和过分割率(OR)，结果如表2所示。对比不同样本间的分割准确率(表2)可以发现，随着杂草的形态表型复杂度提高，样本的分割准确率会有一定的下降。这是由于高复杂度表型的杂草在样本采集时易受到光照条件的影响，使得样本在不同区域灰度特征放大，从而导致在近色图像分割中的误差。对于样本3而言，由于杂草目标整体偏小，较少的分割误差像素导致样本整体的分割准确率下降。从表2还可以看出，本文算法(DGDFCM)的分割准确率平均为91.45%，比FCM、FCM-S2、FCMNLS和RSFCM算法分别提高16.35%、4.12%、6.80%和8.06%。由于RSFCM算法采用上下文相关性判断像素空间信息，因此对分割结果的边缘保持性较好，欠分割率较低。但图中局部连续的强噪声干扰易被误判断为目标区域，导致算法的整体分割准确率不高。本文算法在保持欠分割率与RSFCM算法相当的同时，降低了算法的过分割率。从过分率角度看，本文算法与FCMNLS算法的过分割率相对较低，但由于FCMNLS算法对噪声像素的抑制过强，导致图像的平均分割准确率不高。因此，本文算法的整体表现优于其他聚类算法，提高了图像的分割准确率。

3 结论

本文提出一种基于各向灰度分布差异的改进模糊C均值聚类草坪杂草检测算法，解决了杂草与草坪颜色相近而分割不完整的问题。利用超绿算子提取感兴趣区域，结合HSV颜色空间多通道特征融合，扩大图像中目标与背景的灰度差异。引入面积约束下的中值滤波代替全局中值滤波，在去噪的同时避免目标区域灰度级的降低。提出一种各向灰度分布差异检测算子，将像素的各向灰度分布差异引入模糊聚类过程，提高图像分割的准确率。试验结果表明，本文算法可有效分割自然环境中的草坪杂草，分割准确率平均为91.45%，比FCM、FCM-S2、FCMNLS和RSFCM算法分别提高16.35%、4.12%、6.80%和8.06%。研究结果可以为草坪杂草精准化施药提供条件，具有实际应用价值。但是在杂草具有较为复杂的空间结构导致局部区域亮度不均时，该区域易被错分。因此，在下一阶段，我们将进一步研究如何提高杂草复杂空间结构区域的分割性能。