介绍
小麦是世界上最重要的粮食作物之一[ 1 ]。随着遥感技术的发展，从各种遥感平台采集数据已被公认为支持作物生产决策的有效技术解决方案。从遥感图像中检测和表征小麦穗个体有助于记录小麦生长，这对于田间管理非常重要[ 2 ]。由于无人机（UAV）的便利性和实用性，小麦穗的检测和计数引起了研究人员的极大兴趣。

小麦生长是一个随着时间的推移而发生的连续动态过程。监测多个阶段的小麦生长可以提供更准确的小麦产量预测[ 3 ]。颜色特征被认为是人类最容易识别和辨别的特征之一。这些特征可以有效地描述小麦穗色的变化和背景差异[ 4 ]。结合颜色、纹理和几何特征，使用贝叶斯、支持向量机、随机森林等匹配学习算法来检测和分割小麦穗[ 5,6 ]。在这些特征中，颜色对于检测和计数小麦穗至关重要 [ 7 , 8]。作为一种数据驱动的方法，深度学习获得的特征更加抽象、鲁棒和可推广。近年来，由于深度学习的快速发展，小麦穗检测方法取得了进步。研究人员分析了小麦穗图像，并提出了用于小麦穗计数的卷积神经网络，包括分类、检测和分割[ 5,8-10 ] 。除了分类和分割之外，检测方法还旨在检测个体并方便计数尖峰[ 11]。两阶段和一阶段网络是目标检测的两种主要方法。两阶段网络将检测任务分为两个步骤。首先，区域提案网络生成包含对象信息的提案。其次，可以从提案中预测对象的位置、类别和置信度。基于这些过程，设计了更快的基于区域的卷积神经网络（Faster R-CNN）[ 12 ]、基于区域的全卷积网络（R-FCN）[ 13 ]、Efficientnet[ 14 ]和其他方法来提高精度。与 2 阶段网络相比，1 阶段网络速度更快，因为它进行预测而不生成建议。一阶段网络主要包括 RetinaNet [ 15]、单次检测器 (SSD) [ 16 ] 和 You Only Look Once (YOLO) 模型 [ 17 – 20 ]。

与其他物体检测方法一样，无人机图像中小麦穗的颜色受到小麦生长阶段的影响，并主导小麦穗检测方法的性能[ 5 , 21 ]。这一观察结果强调，基于颜色的小麦穗检测方法通常用于特定的生长阶段。为了克服这一挑战，采用了多种策略来准确检测不同阶段的小麦穗。第一种方法是针对特定阶段开发不同的小麦穗检测模型。虽然这种方法可以实现更高的准确度，但效率较低且适用性有限 [ 22 , 23]。第二种方法是开发一个单一小麦穗检测模型，在所有生长阶段的统一小麦穗图像上进行训练，使用相同的模型参数进行特征提取。然而，单一模型具有挑战性，因为它需要大量的图像训练数据，并且包含不同阶段小麦穗的所有不同特征可能不可行。图像数据的变化可能导致类别分布的差异，最终降低模型的准确性[ 24 ]。第三种方法是针对特定生长阶段开发具有迁移学习的小麦穗检测模型[ 25]。模型的迁移能力受到小麦穗特征变化的影响。此外，借助卷积神经网络强大的自动特征提取能力，最近的研究人员已经采用了其他领域的方法并专注于优化网络结构。这些提出的神经网络通常由两部分组成：第一部分是预训练模块，用作基本特征提取器；另一个是针对特定任务的优化模块[ 26-29 ]。它为用更少的训练图像进行准确分类和检测提供了有保证的方法[ 30]。然而，这些方法忽视了现有的农艺知识，没有深入研究不同生长阶段小麦穗颜色特征的差异及其对检测精度的影响。此外，无人机图像中小麦穗尺寸小、分布密集、遮挡严重等问题也使得该方法难以拟合和覆盖小麦穗的全部特征，导致精度低、适用性差。

与我们之前的工作[ 31 , 32]，本文构建了WheatNet来检测无人机图像中从灌浆到成熟阶段的小而定向的小麦穗，以解决上述问题。WheatNet结合了小麦穗的颜色、方向和大小特征，可以准确检测不同生长阶段的小麦穗，适用于田间场景。采用WheatNet中的数据增强对无人机捕获的小麦穗图像进行预处理。WheatNet 由 2 个子网络组成：转换网络和检测网络。前者负责图像转换并通过融合颜色特征生成新的小麦穗图像。同时，后者可以生成多尺度特征图并预测小麦穗的位置、大小和类别。WheatNet 可准确检测小而定向的小麦穗

材料和方法
实验设计和数据收集
试验在江苏省如皋市进行。种植淮麦33、济麦22、扬麦23、宁麦13、扬富麦4号、烟农19、扬麦16、珍麦12等8个地方小麦品种，面积6 m×6 m，面积16块。可见光图像是使用 DJI ZENMUSETM X4S 相机在 10 m 高处拍摄的。我们在灌浆期和成熟期进行了飞行任务。无人机图像是在上午 10:00 至下午 2:00 之间拍摄的，以最大程度地减少照明变化并减轻阴影的影响。总共获取了300张图像，其中150张是在填充阶段获得的图像，150张是在成熟阶段获得的图像。将一张可见图像裁剪成4张分辨率为150×150像素的小图像，以提高数据处理效率，突出尖峰特征，并便于卷积网络训练。2 . 然后用图像注释工具 RoLabelImg [ 33 ] 对这些小图像进行标记（图1）。

采用数据增强，包括图像翻转、图像旋转和亮度平衡，以扩展数据集的容量并增强模型的泛化能力。亮度平衡可以消除光照变化和不同传感器对检测性能的影响[ 3​​1 ]。每个小图像被增强8次，数据增强后生成7000张图像。它们被随机选择并按 7:2:1 的比例分为训练集、验证集和测试集。
用于小麦穗检测的 WheatNet
WheatNet 是一种单阶段检测方法，可以动态生成转换参数，以减少生长阶段之间小麦穗特性的变化。它可以准确检测灌浆期和成熟期的小麦穗。WheatNet的架构如图2所示。WheatNet 由 2 个子网络组成：转换网络和检测网络。首先，提出了变换网络中的自适应特征适配器模块（AFAM）来生成对不同生长阶段小麦穗颜色敏感的权重。其次，变换参数生成模块（TPGM）使用特征袋池（BOFP）层来学习小麦穗的颜色特征和输出变换参数α生成具有全连接层的新图像。第三，检测网络从新图像中提取多尺度特征。然后，在检测网络中添加一个微尺度检测层，4 个检测层根据多尺度特征图生成预测，包括小麦穗的位置、类别和置信度。在此阶段，使用圆平滑标签 (CSL) 对小麦穗的角度进行分类。完全交并并集（CIoU）损失和二元交叉熵（BCE）损失用于计算训练的网络损失。最后，在训练后的推理过程中通过预测产生检测结果。

改造网络
小麦生长过程中颜色信息变化显着，光照和背景会导致灌浆期和成熟期小麦穗颜色特征的差异。这使得依赖于小麦穗检测颜色信息的方法通常仅适用于特定的生长阶段 [ 6 , 25 ]。在本研究中，引入变换网络来解决这个问题。变换网络动态生成线性颜色变换参数，以减少小麦穗特征在不同生长阶段的变化，为检测网络提供新的小麦穗图像。
转换网络包括 AFAM 和 TPGM。AFAM 利用注意力机制来学习在灌浆和成熟阶段对小麦穗颜色敏感的权重。TPGM 将这些权重与 BOFP 层和全连接层结合起来，动态生成变换参数。这些参数用于变换图像的 R、G 和 B 波段的值，以减少生长阶段之间小麦穗颜色特征差异的影响。
受 ResNet 网络和注意力机制 [ 34 , 35 ] 的启发，AFAM 包含残差块层和域适配器层（图3 A 和 B）。提取麦穗无人机图像的多尺度特征，残差块层的跳跃连接有助于避免卷积网络中的梯度消失和爆炸。每个残差块层由2个卷积层和一个修正线性单元

其中F RBL ( X ) 是残差块层的输出特征，X是残差块层的输入特征，R ( X ) 是卷积层和激活函数对输入特征的运算。W 1和W 2是残差块层中2个卷积层的卷积运算。σ是 ReLU 激活函数。
AFAM 中的域适配器层结合了 SENet [ 35 ] 和注意力机制，以实现不同小麦穗特征之间的信息共享。域适配器层可以生成对这些特征敏感的权重，从而在灌浆和成熟阶段更准确地区分和表示小麦穗。采用跳跃连接处理输入特征：首先特征经过全局平均池化层、全连接层、Softmax激活函数得到全局特征；然后，设计2个分支来处理特征，自适应地考虑2个生长阶段。

颜色特征是显着反映不同生长阶段小麦穗差异的重要信息[ 24 ]。TPGM通过Bag of Visual Words Pooling（BVWP）提取颜色和光照等信息，BVWP是Bag of Visual Words模型在卷积网络中的表示[ 36 ]，可以增强模型的泛化能力。

检测网络
检测网络是在标准YOLOv5的基础上改进的，它可以直接从小麦穗图像计算对象类别、位置和置信度。新的微尺度检测层 CSL 和改进的定位损失旨在提高检测精度。

新的微尺度检测层
标准YOLOv5中的三个检测层用于检测对象并输出回归和分类[ 37 ]。然而，小小麦穗无法准确检测，因为这 3 层无法提取和融合较低的空间特征 [ 27 ]。因此，WheatNet 中添加了一个微尺度检测层（输入图像大小的四分之一），通过提取较低的空间特征并提供更详细的信息来生成特征图。

用于小麦穗角分类的 CSL
在本文中，小麦穗可以标记为定向边界框 ( x ,  y ,  w ,  h ,  cls ,  θ )。( x ,  y ) 指的是中心点的坐标。w和h分别表示盒子的短边和长边长度。cls表示对象的类别，是本研究中的一个尖峰。θ是长边方向与x轴之间的角度。WheatNet将θ视为角度的范畴，并引入CSL[ 38 ]（式11) 来测量角距离。

定位损失的优化
与标准 YOLOv5 一样，WheatNet 具有包含分类、定位和置信度损失的多任务损失 [ 19 ]。基于 IoU 的定位损失仅用于确定 2 个定向边界框之间的重叠区域程度（方程 12）。它不能很好地处理盒子之间复杂的空间关系。

结果
网络设置
我们的研究在Ubuntu 16操作系统中进行了小麦穗检测任务。工作站（处理器：Intel® Xeon® 8268 CPU；内存：500G；显卡：NVIDIA Titan V 12G）在深度学习框架PyTorch 1.7中进行网络训练。训练时，我们使用随机梯度下降进行优化，batch size为16，学习率为0.005。重量衰减和动量分别采用1×10 -3和0.9。
绩效评估
在本研究中，检测精度和速度这两个主要性能指标用于评估模型性能。检测速度以每秒帧数 (FPS) 来衡量。可以对定向检测框的四种潜在预测进行分类。真阳性 (TP) 是指正确检测小麦穗。假阳性 (FP) 是指对小麦穗的错误检测。假阴性 (FN) 表示未检测到的小麦穗数。本研究不考虑真阴性 (TN)，因为小麦穗检测依赖于前景。因此，精确率和召回率计算如下。

小麦穗检测结果
WheatNet和其他检测方法的性能
本文将 WheatNet 与经典的定向检测方法 [ 40-45 ]进行了小麦穗检测、角度预测和速度的比较。WheatNet 的AP、RMSE z和MAE z分别为 89.7%、17.7 和 7.6（表1）。结果表明，WheatNet 对小麦穗检测的准确率最高，能够准确描述小麦穗的形态。同时，从查准率-查全率曲线来看，其他方法的查准率随着查全率的增加而显着下降（图4））。当召回率为0.95时，其他定向检测方法的精度低于0.2，导致严重的误检问题。相比之下，WheatNet仍然保持了较高的精度，很好地解决了漏检和误检的问题。WheatNet 的速度为 20 FPS，可以快速准确地检测小麦穗。

我们还比较了 WheatNet 和经典的目标检测方法以及之前开发的定向小小麦穗检测（OSWSDet）[ 32 ]。结果表明，所提出的 WheatNet 以最高的准确度优于其他方法，RMSE c、rRMSE c和MAE c分别为 9.7、0.19 和 8.9（图5）。与标准YOLOv5相比，WheatNet表现出显着的性能提升， RMSE c降低了43% ， rRMSE c降低了66% ，MAE c降低了55%。OSWSDet 是在我们之前的工作中针对单个生长阶段构建的，它通过采用 CSL、基于 CIoU 的损失和微尺度检测层，在标准 YOLOv5 的基础上进行了改进。与OSWSDet相比， WheatNet的RMSE c、rRMSE c和MAE c分别降低了25%、50%和17%。WheatNet、Faster R-CNN、标准YOLOv5和YOLOv7的小麦穗检测结果示例如图6所示。可以看出，WheatNet在灌浆期和成熟期的小麦穗检测上具有优异的性能，并且比其他检测方法产生的错误结果更少。

消融研究
在本文中，我们研究了新的微尺度检测层、CSL、基于 CIoU 的改进损失函数和变换网络对小麦穗检测性能的综合影响（表 2 ）。Transform Network是最有效的组件，导致AP增加了12.9%，是解决小麦穗因生长阶段不同而检测不准确问题的可行模块。除了变换网络之外，CSL 和微尺度检测层是准确检测小而定向小麦穗的两个最有效的模块。这些结果与我们之前的研究一致[ 31 , 32 ]。

讨论
传统的实地调查效率低下且成本高昂，因此人们对基于图像的小麦穗检测技术越来越感兴趣。可见图像可以捕获物体的颜色和纹理信息，是一种经济有效且快速处理的分析方法[ 29 , 46 ]。然而，由于田间环境和小麦生长的原因，在灌浆期和成熟期的冠层图像中很难标记相同数量的小麦穗[ 21 ]。在小麦生长阶段，小麦的颜色、大小和形态特征发生显着变化，使我们能够开发关键技术来准确检测几个关键生长阶段的小麦穗[ 47]。因此，有必要开发适合多个生长阶段的小麦穗检测深度神经网络，以实现准确的产量预测。

灌浆期和成熟期小麦穗图像颜色特征差异较大，影响深度神经网络检测小麦穗的准确性。基于我们之前对 OSWSDet 的研究，我们为在填充和成熟阶段捕获的图像构建了单独的数据集，以评估 OSWSDet 的性能。结果表明，当训练集和测试集均为灌浆期或成熟期图像时，小麦穗检测的准确率分别为90.7%和90.5%（表3）。这些发现表明 OSWSDet 对于单个生长阶段的准确性较高，这与之前的研究结果一致 [ 23 , 48]。当训练集和测试集来自不同生长阶段的图像时，小麦穗检测精度分别显着降低60.0%和51.6%（表3）。这种现象表明，为单个生长阶段构建小麦穗检测模型对于其他生长阶段的效果不佳[ 21 ]。

WheatNet有效减少了灌浆期和成熟期小麦穗图像颜色特征的差异。将变换网络生成的新图像与输入图像（图7和图8）进行比较，新图像的R、G和B波段的差异显着减小。对于成熟阶段拍摄的图像，变换网络显着减少了红色波段像素值大于 250、蓝色波段像素值小于 5 的像素点数量。例如，图9显示了灌浆期小麦穗检测的结果。可以在转换网络转换的图像中准确检测小麦穗。

WheatNet 通过减少灌浆期和成熟期小麦穗图像之间的特征差异来提高检测精度。本文使用一组统一的灌浆期和成熟期小麦穗图像作为标准YOLOv5和WheatNet的训练集。这两个模型的性能在灌浆阶段、成熟阶段和两个阶段的 3 个独立的小麦穗图像数据集上进行评估。结果表明，即使在灌浆期和成熟期的图像上都标记了小麦穗，标准YOLOv5也无法准确检测它们，准确率分别仅为57.7%、52.8%和55.6%（表4））。OSWSDet 的准确率也分别仅为 80.6%、77.8% 和 79.4%。与成熟期相比，灌浆期小麦穗与背景之间的对比度差异更大。这种对比度差异导致灌浆阶段小麦穗检测的准确性更高[ 5 ]。因此，直接利用小麦不同生长阶段穗部图像构建模型并不能满足准确检测的要求。WheatNet可以减少由于小麦穗颜色特征差异引起的检测误差，并成功应用于灌浆期和成熟期图像，灌浆期准确率达到90.1%，成熟期图像准确率达到88.6%（表4）。

与之前研究中广泛用于检测和计数小麦穗的迁移学习相比[ 21 , 25 ]，WheatNet 使用颜色特征来提高检测不同生长阶段小麦穗的性能。迁移学习的优点是需要少量的训练数据，并且在大量工业数据上训练的预训练模型可以快速、轻松地应用于现场场景[ 30 ]。然而，迁移学习使用单个深度神经网络，该网络共享除检测层之外的所有网络参数。当两个领域的数据集特征差异较大时，很难达到高精度[ 49]。因此，迁移学习不能很好地应用于多个麦田场景。
另一方面，WheatNet 旨在解决准确检测多个生长阶段小麦穗的问题。虽然我们以前的方法，例如 OSWSDet [ 28 ]，已经证明了单个生长阶段的高精度，但它们在其他阶段通常表现不佳（表3）。WheatNet 是我们之前 OSWSDet 工作的延伸，扩展了小麦穗检测模型的适用性。作为一种端到端的单阶段小麦穗检测模型，WheatNet 解决了将现有检测方法应用于多个生长阶段同时保持检测精度的挑战。
根据先验知识，包括小麦穗的颜色、形态和大小特征，本研究提出了 WheatNet，用于在不同生长阶段拍摄的无人机图像中检测小麦穗。小麦不同生育阶段穗部特征的差异，特别是颜色特征的差异，影响检测精度。现有针对单一生长阶段设计的小麦穗检测模型难以应用于多个生长阶段或田间场景。
通过引入小麦穗的颜色特征，WheatNet 在灌浆期和成熟期无人机图像中检测小麦穗均实现了高精度，AP为89.7%，RMSE c为 9.7，rRMSE c为 0.19，MAE c 8.9。凭借 OSWSDet 的继承优势，WheatNet 可以处理无人机图像中小且有方向的小麦穗的检测。此外，它克服了 OSWSDet 只能准确检测单一生长阶段小麦穗的局限性。它为小麦整个生长阶段的穗检测方法提供了有价值的见解，并且具有巨大的现场应用潜力。