基于YOLOT网络的小目标检测

来源:用户上传      作者:王恒，李鹏飞

　　摘要：当前以大数据、深度学习、算力为基础的目标检测在智能农业、人脸识别、安防监控、行人检测、车辆检测等领域有着广泛的应用。特别是农业中的蔬果发育及采摘、病虫杂草识别、产量预测等应用都将有力地支撑着智能农业蓬勃的发展。但是农业中小型瓜果蔬菜等小目标在采集的图像中所占像素太少、覆盖区域不足、携带信息少等问题导致识别率不高，出现漏检、误检等错误。文章提出一个基于YOLOv5改进的卷积神经网络YOLOT。第一：YOLOT改进了YOLOv5网络并添加了注意力机制在Backbone中，提高了其对小目标特征提取的有效度。第二：针对小目标浅层信息与深层信息相差较大，改进了特征金字塔，使其准确率有了明显提高。第三：针对小目标占比像素过少，优化了锚框。综合上述改进以及实验对比，笔者提出的YOLOT网络对农业中小型目标的检测率明显优于YOLOv5检测算法。
　　关键词：农业；YOLOv5；小目标；注意力机制；特征金字塔
　　中图分类号：TP18 文献标识码：A
　　文章编号：1009-3044（2021）32-0022-04
　　1引言
　　随着我国制造强国战略的提出，在“创新驱动、质量为先、绿色发展、结构优化、人才为本”的基本方针指导下，农业生产迎来了一场高新技术变革，精细化农业已成为现代农业发展的主流[1]。传统农作物生长环境的检测[2-4]、农作物识别与采摘、产量预测[5]等基本依靠人力进行，而人力自身的限制性比如自身经验的丰富度、专业知识的应用等，导致了成本过于高昂且时效性低、误差大。然而随着计算机领域中人工智能不断发展，越来越多的深度学习技术应用在农业领域[6]，人力的影响因素大幅度下降，逐渐形成了现在的智能农业。
　　基于深度学习[7]的目标检测[8-9]是人工智能领域的核心问题之一，通过遥感、无人机、摄像头、红外线等设备生成的数据，采用深度学习中的卷积神经网络（CNN）从大量的图片、视频媒体数据中自动的、有规律的、有目标的学习高级语义特征，从而在复杂环境中锁定指定目标。它是结合了目标定位、目标识别两项任务的计算机视觉任务。这一技术可以及时辨别杂草、有害生物、实时监测作物的生长状况、作物的产量等，强有力地支撑了智能农业迅速的发展。
　　传统目标检测步骤主要由数据信息预处理（旋转、剪裁、拼接、去色等）、预设大小的锚框滑动、语义信息特征提取、目标特征选择、目标特征分类、最后处理六部分组成，但是由于其没有针对性、算法复杂度高、鲁棒性差以及当时硬件算力等原因，使得检测效果达不到实际需求，使得其发展受到限制。即使Hinton在2006年提出了深度学习[10]，但直到2012年卷积神经网络Alex-Net[11]才在图像分类检测上取得了史无前例的重大的突破。
　　2 目标检测
　　2006年发展至今，基于深度学习的目标检测算法实现效果已远远超出传统目标检测算法。现在的深度学习目标检测算法大致可以分为两大类，一类为基于分类的二阶段检测算法，另一类是基于回归的一阶段检测算法。
　　二阶段目标检测算法是基于分类的一个思想。二阶段算法直接用卷积神经网络（CNN）对每个不同大小的滑动窗口产生的候选区进行物体存在判断，判断目标是否存在此滑动窗口。二阶段目标检测算法研究的重点是如何增加网络对目标特征的提取能力以及分类能力。二阶段算法代表有R-CNN[12-15]、Faster R-CNN[16-19]等。但是因为目标的大小以及位置不明确，所以这一类算法需要使用多尺度窗口遍历整个图片，从而会生成大量冗余的候选框。虽然后期对此类二阶段算法进行了多种如多尺度输入、多尺度检测、FPN（特征金字塔）[20]等优化，然而模型的训练速度、检测速度依然很慢，不容易部署应用在实际工程中。
　　在不断的探索与积累中，一阶段算法应运而生，这一类算法直接将卷积神经网络作为回归器，把输入的一整张数据图像作为待检测的候选区，输入卷积神经网络，并且将目标在待检测图像中的相对位置信息进行输出。一阶段代表算法有YOLO系列[21-24]、SSD[25]等。这类算法训练参数的设置大多数依靠经验和实践，缺乏理论支撑。
　　不论一阶段还是二阶段算法，对于小目标[26]的识别率都很低。总结主要有以下几个原因：
　　1）卷积神经网络的步长可能大于目标，导致小目标的特征提取不足或者完全没有提取，无法将小目标传递至下一层网络。
　　2）网络先验框设置不足。网络中通常会设置几组先验框，一组先验框又包含了几种尺寸的先验框，这就会只有一小部分先验框与真实的小目标重叠，进而导致正负样本极大不平衡。
　　3）在进行数据预处理时，会对图像大小进行调整，这会进一步降低小目标覆盖区域、降低其携带的语义信息。
　　4）交并比阈值设置不合理。小目标候选边界框（Bounding Box）与正确框（Ground Truth）之间的交并比较小，IOU的设置直接影响正负样本的选取。
　　本文依据农业中小型瓜果蔬菜目标的特点，为了达到更好的应用效果，以收割后的麦茬这种小目标为实验对象，制作了小目标数据集。这一数据集也补充了农业中对于小目标数据集不足的问题。设计了基于YOLOv5网络的检测识别算法YOLOT如图1所示。
　　首先，在YOLOv5的主干网络（Backbone）中添加了通道注意力以及空间注意力，使神经网络专注于图片中麦茬这种小目标，可以更好地提取目标特征。针对浅层与高层语义信息差异大以及高级语义信息与低级语义信息的融合问题，特征金字塔中位置信息的传输不准确问题，改进了特征金字塔并且添加了注意力模块。经过大量的实验，得到了最适合小目标的锚框以及IOU阈值。最后，为了验证YOLOT算法的优越性，笔者分别对比了YOLOv3算法、YOLOv5算法，并且做了消融验，进一步验证各个优化部分的有效性。

nlc202301131451

　　3 YOLOT
　　3.1注意力机制
　　图片是目标检测常用的一种低信息密度的数据格式，所以，卷积神经网络进行目标特征提取时，不可避免地会提取许多无用的冗余信息，进而可能会影响检测效果。为了使卷积神经网络更专注于检测目标，越来越多的神经网络开始引入注意力机制[27]。注意力机制使得卷积神经网络集中注意图片的某一个局部，不平等地对待总体输入， 进一步加强网络的特征提取能力。
　　卷积神经网络中常用的两种注意力机制是通道注意力[28]与空间注意力机制[29]。通道注意力机制如图2所示。首先，将特征图进行基于H和W的最大池化以及平均池化。然后将池化后的输出分别经过全连接层[30]进行逐元素相乘的加和操作，最后经过激活函数Softmax[31]生成通道注意力特征图与输入特征图进行逐元素相乘。通道注意力机制可以表达为：
　　[MCF=бMLPAvgPoolF+MLPMaxPoolF]
　　[=б（W1（W0（FCavg））+W1（W0（FCmax）））]
　　通道注意力机制是将特征图在空间维度上进行压缩，得到一个一维矢量后再进行下一步处理。在空间维度上进行压缩时，不仅考虑了平均值池化还考虑了最大值池化。平均值池化和最大值池化可用来聚合特征映射的空间信息。对于每张图像通道注意力将图像中各个区域的语义信息进行关注度优先级排序，优先级高的语义信息更重要，反之则对于给定目标来说并不重要。平均值池化对特征图上的语义信息进行映射权重计算，这样在梯度反向传播计算时，只有特征图中权重最大的语义信息存在梯度反馈。空间注意力机制如图3所示，对通道进行压缩，在通道维度分别进行了平均值池化和最大值池化。最大值池值化提取次数依据高宽而定，最后将前面提取的特征图合并得到二维通道的特征图。
　　空间注意力机制可以表示为：
　　[Ms（F） = б（f7*7（[AvgPool（F）;MaxPool（F）]））]
　　[= б（f7*7（[Fsavg;Fsmax]））]
　　其中，σ为sigmoid操作，7*7表示卷积核大小。
　　空间注意力模块（SAM）将输入的每个通道特征进行相同的空间加权处理，忽视了通道之间的信息交互，而通道注意力模块（SEM）则忽视了空间的信息交互，顺着这两个方向深度挖掘内部关键信息，筛选出重要信息，剔除不相关信息，提升小目标的检测精度和泛化性能。
　　本文YOLOT引入了结合通道与空间的注意力C制CBAM如图4所示。
　　CBAM注意力机制不仅捕获跨通道的信息，还可以感知位置敏感信息，这就使得YOLOT能够更准确地识别锁定目标位置。
　　3.2特征金字塔
　　特征金字塔（FPN）是根据古埃及金字塔形状启发设计而成的特征提取器，目的是提高检测物体的精度与识别速度。它替代了如Faster-R-CNN中的特征提取器，可以生成更高质量的、更多语义信息的特征图。特征图金字塔主要解决物体检测多尺度、高级语义信息、低级语义信息结合问题。图像经过Backbone的卷积核下采样后，得到的特征图（Feature Map），图像的空间分辨率减少，空间信息丢失。但是高级语义信息将被更多地检测到。为了解决图像下采样时目标位置信息丢失问题，这时会进行两次上采样，生成具有相同分辨率的特征图，然后将图片按照指定维度进行融合连接。这种融合不仅增加了目标的位置信息，还将高级语义与低级语义信息融合，进一步增加了小目标检测率。虽然特征金字能够提高目标的检测率，但是对于麦茬这种小目标还是远远不够。从下面的消融实验中可以明显看出，YOLOv5网络对于麦茬的识别率一般，所以在YOLOT网络中针对这一现象，尝试在特征金字塔中加入CBAM注意力机制，进一步提高小目标的位置及语义信息的权重关注度。这一方法的有效性在实验结果的对比中，可以得到有力的支持，如图5所示。
　　YOLOT使用了三层特征金字塔，与之对应的也有三组九种不一样的锚框。在引言中提到，三组九种不同大小的锚框在不同特征层进行目标定位识别时，锚框大小也会对小目标的识别率产生一定的影响。针对这个问题，YOLOT重新设计了锚框大小。图6所示，黄色为YOLOT采用锚框（5，7），绿色蓝色为YOLOv5原设计锚框（30，61）、（62，45）、（59，119）、（116，90）、（156，198）。
　　4数据集
　　利用索尼ILCE-7M2进行麦茬数据的采集，经过筛选整理随机选出100张图像。如图7所示，一个白框覆盖面积为1m2，即数据集中每张图像所代表的是1m2内所有的麦茬。使用Labelimg标记麦茬目标，每张图像标记所有麦茬、识别标签效果如图7所示。
　　规定目标占图像比小于0.001的为小目标，小目标占总标记数比大于90%的图像为合格图像，经统计符合此规定的图像占95%。为进一步增强网络的泛化能力，拍摄时选取不同背景色，不同麦茬排列方式如图8所示。
　　5实验结果及实验环境
　　为了证明网络的各项改进点对模型的性能提升有贡献，本文在统一的实验环境下进行了对比实验。实验环境为Windows10操作系统、RTX2080TI、RTX3080显卡、PyTorch深度学习框架、数据集为自制麦茬数据，图片分辨率为640*640，训练批大小为20，初始学习率为0.01，所有参照模型均按照此参数训练1000个epoch。对比实验采用精度（precision）、召回率（recall）、平均精度（map）对各个模型进行对比。
　　P=[TPTP+FP]R=[TPTP+FN]AP=[01PRdR]mAP=[ikAPik]
　　其中，TP（True Positive）代表原本为正样本且被检测为正样本的目标，FP（False Positive）代表原本为负样本但被检测为正样本的目标，FN（False Negative）代表原本为正样本但被检测为负样本的目标，P为精确率，R为召回率[32]。K代表待检测目标的类别数，AP 是计算某一类 P-R 曲线下的面积，mAP 则是计算所有类别 P-R 曲线下面积的平均值。

nlc202301131451

　　表1采用指标是选取训练后最高mAP对应的各参数数据，可以看出YOLOT比其他算法对小目标的识别率都有明显的提升。准确率相比平均提升9.23%，召回率相比平均提升8.53%，平均精度相比平均提升11.3%。为了进一步证明YOLOT算法的改进提升特别做了消融实验，研究添加修改部分分别对小目标检测的提升效果。
　　6消融实验
　　本文通过消融实验对比分析，进一步验证了各个部分的优化效果，其结果汇集如表2所示。从表2中数据可知，在农业小目标数据集中YOLOv5框架的mAP只有69.3%，当在各部分引入CBAM注意力模块后均有提升。在骨干网络（Backbone）加入CBAM注意力模块后，模块进一步加强了主干网络对有效语义信息的关注度，故mAP指标提升了4.7%。针对小目标的尺度问题，YOLOT网络优化后的锚框，使网络在锚框回归以及锚框预测有着更好的效果，mAP指标提升了2.1%。针对小目标因为占像素少，FPN 各层对目标高级与低级语义信息的关注度传递问题，引入CBAM注意力模块后，使得YOLOT网络mAP指标提升了2.7%。虽然PAN优化了YOLOv5网络，使得原YOLOv5对小目标的mAP提升，但是引入CBAM注意力模块却有了更进一步的提升，指标mAP提升了2.0%。在这一系列针对农业小目标检测的改进，使得YOLOT网络检测能力有了很大的提升，指标mAP指标相较原YOLOv5提升了9.4%，证明了YOLOT各项改进的有效性、正确性。
　　7结束语
　　本实验以自制麦茬数据集为研究对象，提出了基于YOLOv5的深度神经网络农业小目标检测方法。添加混合了通道、空间注意力机制的CBAM在原YOLOv5中主干网络（Backbone）与多层金字塔（FPN）中。重新优化了小目标的锚框。针对农业小目标数据集不足的问题，制作了麦茬数据集。通过与原算法对比分析，证明了YOLOT网络农业小目标提升的有效识别率。
　　下一步工作是继续优化模型结构与损失函数以及IOU对多类目标检测设置问题，希望能有效解决麦茬重叠、粘连导致检测精度不高的情况，从而使模型结构对这种小型单一目标有更好的检测效果。
　　参考文献：
　　[1] 焦伟，李维华.中国制造2025之农业机械发展分析和思考[J].农业装备与车辆工程，2016，54（3）：65-68.
　　[2] 周光良.完善农业环境监测机制保障农产品安全生产[J].中国农业文摘-农业工程，2018，30（3）：60-61.
　　[3] 王恩亮，华驰.基于物联网技术的农业环境监测站的设计[J].计算机测量与控制，2016，24（5）：18-20，24.
　　[4] 王晓旭，王承林，成燕平.农业温室环境检测系统设计[J].邢台学院学报，2019，34（4）：180-184，188.
　　[5] 张明辉.层次分析法在小麦产量预测中的应用研究[J].粮食科技与经济，2020，45（6）：100-102.
　　[6] 边柯橙，杨海军，路永华.深度学习在农业病虫害检测识别中的应用综述[J].软件导刊，2021，20（3）：26-33.
　　[7] 吕璐，程虎，朱鸿泰，等.基于深度学习的目标检测研究与应用综述[J].电子与封装，2022，22（1）：72-80.
　　[8] 董文轩，梁宏涛，刘国柱，等.深度卷e应用于目标检测算法综述[J].计算机科学与探索，2022，16（5）：1025-1042.
　　[9] 李柯泉，陈燕，刘佳晨，等.基于深度学习的目标检测算法综述[J].计算机工程，2022，48（7）：1-12.
　　[10] LeCun Y，Bengio Y，Hinton G.Deep learning[J].Nature，2015，521（7553）：436-444.
　　[11] Krizhevsky A，Sutskever I，Hinton G E.ImageNet classification with deep convolutional neural networks[C]//Proceedings of the 25th International Conference on Neural Information Processing Systems - Volume 1.New York：ACM，2012：1097-1105.
　　[12] Girshick R，Donahue J，Darrell T，et al.Rich feature hierarchies for accurate object detection and semantic segmentation[J].2014 IEEE Conference on Computer Vision and Pattern Recognition，2014：580-587.
　　[13] Felzenszwalb P F，Girshick R B，McAllester D，et al.Object detection with discriminatively trained part-based models[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2010，32（9）：1627-1645.
　　[14] Carreira J，Sminchisescu C.CPMC：automatic object segmentation using constrained parametric Min-cuts[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2012，34（7）：1312-1328.

nlc202301131451

　　[15] Gu C H，Lim J J，Arbelaez P，et al.Recognition using regions[C]//2009 IEEE Conference on Computer Vision and Pattern Recognition.Miami，FL.IEEE，2009：1030-1037.
　　[16] Ren S Q，He K M，Girshick R，et al.Faster R-CNN：towards real-time object detection with region proposal networks[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，39（6）：1137-1149.
　　[17] Alexe B，Deselaers T，Ferrari V.Measuring the objectness of image windows[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2012，34（11）：2189-2202.
　　[18] Carreira J，Sminchisescu C.Constrained parametric Min-cuts for automatic object segmentation[J].2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition，2010：3241-3248.
　　[19] Szegedy C ， Toshev A，Erhan D. Deep Neural Networks for object detection[C]//Advances in Neural Information Processing Systems，2013.
　　[20] Lin T Y，Dollár P，Girshick R，et al.Feature pyramid networks for object detection[EB/OL].2016：arXiv：1612.03144.https：//arxiv.org/abs/1612.03144
　　[21] Redmon J，Divvala S，Girshick R，et al.You only look once：unified，real-time object detection[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition.Las Vegas，NV，USA.IEEE，2016：779-788.
　　[22] Redmon J，Farhadi A.YOLO9000：better，faster，stronger[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition.Honolulu，HI，USA.IEEE，2017：6517-6525.
　　[23] Redmon J，Farhadi A.YOLOv3：an incremental improvement[EB/OL].2018：arXiv：1804.02767.https：//arxiv.org/abs/1804.02767.
　　[24] Bochkovskiy A，Wang C Y，Liao H Y M.YOLOv4：optimal speed and accuracy of object detection[EB/OL].2020：arXiv：2004.10934.https：//arxiv.org/abs/2004.10934.
　　[25] Liu W，Anguelov D，Erhan D，et al.SSD：single shot MultiBox detector[EB/OL].2015：arXiv：1512.02325.https：//arxiv.org/abs/1512.02325
　　[26] ⒑榻，王懋，刘丽华，等.基于深度学习的小目标检测综述[J].计算机工程与科学，2021，43（8）：1429-1442.
　　[27] Vaswani A，Shazeer N，Parmar N，et al.Attention is all You need[EB/OL].2017：arXiv：1706.03762.https：//arxiv.org/abs/1706.03762.
　　[28] Hu J，Shen L，Albanie S，et al.Squeeze-and-excitation networks[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2020，42（8）：2011-2023.
　　[29] Zhu X Z，Cheng D Z，Zhang Z，et al.An empirical study of spatial attention mechanisms in deep networks[C]//2019 IEEE/CVF International Conference on Computer Vision （ICCV）.Seoul，Korea （South）.IEEE，2019：6687-6696.
　　[30] Simonyan K，Zisserman A.Very deep convolutional networks for large-scale image recognition[EB/OL].2014：arXiv：1409.1556.https：//arxiv.org/abs/1409.1556.
　　[31] Liu W Y，Wen Y D，Yu Z D，et al.Large-margin softmax loss for convolutional neural networks[EB/OL].2016：arXiv：1612. 02295.https：//arxiv.org/abs/1612.02295.
　　[32] 李发光，伊力哈木・亚尔买买提.基于改进CenterNet的航拍绝缘子缺陷实时检测模型[J].计算机科学，2022，49（5）：84-91.
　　【通联编辑：唐一东】

nlc202301131451

转载注明来源:https://www.xzbu.com/8/view-15444097.htm