YOLOv5结合暗通道增强的草莓成熟度识别查看源代码讨论查看历史

来自 搜狐网 的图片

YOLOv5结合暗通道增强的草莓成熟度识别为了准确的实现使用采摘机器人对草莓果实的采摘，需要草莓果实成熟度的准确判定算法，以便提高草莓果实采摘精度，减少误采摘或是漏采摘。本研究以“丰香”草莓为研究对象，建立成熟、接近成熟、未成熟、坏果四种成熟度标准，并采用YOLOV5结合暗通道增强算法，草莓成熟度识别正确率可以达到90％以上，同时该方法在部分遮挡、多果等复杂环境下具有良好的鲁棒性。

案例简介

为了准确的实现使用采摘机器人对草莓果实的采摘，需要草莓果实成熟度的准确判定算法，以便提高草莓果实采摘精度，减少误采摘或是漏采摘。本研究以“丰香”草莓为研究对象，建立成熟、接近成熟、未成熟、坏果四种成熟度标准，并采用YOLOV5结合暗通道增强算法，草莓成熟度识别正确率可以达到90％以上，同时该方法在部分遮挡、多果等复杂环境下具有良好的鲁棒性。

技术要点

草莓（Ｓｔｒａｗｂｅｒｒｙ）是蔷薇科草莓属植物的泛称。草莓果实呈圆锥形，鲜红色，果肉浅红色，硬度中等，果实糖度高而稳定；果肉柔软，没有果皮保护，易变色变质，成熟后必须及时采摘、即时销售。在中国农业现代化的趋势下，对比传统的人工感官识别并采摘，精准高效的自动化采摘设备成为关键。在“丰香”草莓的大规模生产中，为了准确的实现使用自动采摘设备对草莓果实的采摘，需要草莓果实成熟度的准确判定算法，以便提高草莓果实采摘精度，减少误采摘或是漏采摘。

1. 关键技术

本项目包含的关键技术有：YOLOv5目标检测模型、图像预处理技术、暗通道增强的低照度增强算法。

YOLOv5目标检测模型

YOLO系列是基于深度学习的回归方法，是一种目标检测模型，本研究采用的是YOLOv5算法。YOLOv5是一种单阶段目标检测算法，通常划分为4个通用的模块，具体包括：输入端、基准网络、Neck网络与Head输出端。

为进一步增加图像数据量、丰富数据多样性、提高模型泛化能力，需对图像进行数据扩增的预处理，即对图像原始数据做一些变换但不实际增加原始数据。

本项目在YOLOv5内设的Mosaic数据增强基础上，进一步实现图像翻转、图像扭曲、添加噪声、图像模糊、图像区域随机擦除、风格转换等数据扩增处理。

1）图像翻转：采用cifarnet处理的随机左右翻转。

2）图像旋转：采用SSD处理的随机旋转。

3）图像扭曲：对图像进行仿射变换或透视变换。仿射变换可以将矩形转换成平行四边形，透视变换可以将矩阵转变成梯形。集中对像素点实现三角函数变换，对图像做扭曲变化。

1）色彩抖动： 抖动是通过错位的位移对图像产生的一种特殊效果。色彩抖动通过对构成图像的色相产生位移，造成临近点状差异的色彩交叉效果。

2）噪声扰动：本项目采用Gaussion Noise 高斯模糊。当神经网络试图学习可能无用的高频特征（大量出现的模式）时，通常会发生过度拟合。具有零均值的高斯噪声基本上在所有频率中具有数据点，从而有效地扭曲高频特征。添加适量的噪音，不仅可以丰富数据多样性，也可以增强学习能力。

3）图像区域随机擦除：随机选择图像的矩形区域，并使用随机值擦除其像素。生成具有遮挡级别的训练图像，会降低过拟合风险并使得模型对遮挡具有一定的鲁棒性。

4）风格转换：将风格迁移的训练和应用分离，可以快速应用。先训练好几种不同风格，将风格特征固定下来了。对图像进行先卷积再转置卷积（上采样），然后损失的处理；再对Transform Net的变量梯度下降，最后输出转换图像。

创新点

1）创新点1：增加“坏果”标准，提高草莓果实采摘精度，减少了误采摘或漏采摘的可能性。

2）创新点2：结合图像暗通道去雾增强算法，解决低照度条件下的图像处理与目标检测，可实现全天时可视化检测。

经过翻阅文献，现已有部分对草莓成熟度快速识别的研究：ＪａｓｐｅｒＧ Ｔａｌｌａｄａ等［1］提取了三个特征波 长：685，865和985 nm建立草莓坚硬度的检测模型，准确度达到了78.6％；赵玲等采用HIS色彩空间模型，提取了草莓图像H分量的色度直方图，并结合BP神经网络建立基于颜色的草莓成熟度检测模型，准确度达到了90％以上。这些检测模型存在精确度低或者检测对象不全面等不足。

“YOLOV5结合暗通道增强的草莓成熟度识别算法”以YOLOV5算法为基础，考虑全天时光线对草莓图像色彩模型的影响及存在坏果的情况，实现更全面的可视化检测。草莓成熟度的识别主要依据果实表面的着色情况分为三类:未成熟，果肉着色为青色和乳白色，其中90%以上为青色；即将成熟，果肉着色为乳白色和红色，其中80%以上为乳白色；成熟，果肉着色80%以上为艳红色。在着色基础上，依据果实大小与饱满程度，又得以区分：坏果，为着色暗红或出现黑色、果实较小、形状干瘪。

3）创新点3：该项目采用多种数据扩增方法以增加图像数据量。一方面可以丰富数据多样性而不实际增加原始数据，极大地提高网络的训练速度，在采集图像较少的情况下就可以快速建立数据集，利于果实的快速准确识别。另一方面可以提高模型泛化能力，使模型不仅仅适用于草莓成熟度识别，也可以完美使用其他农产品的检测。

应用市场

本项目是针对“丰香”草莓实现自动化采摘创新设计的算法技术。目前已有的各种检测模型存在精确度低或者检测对象不全面等不足。而本项目创新设计的“YOLOV5结合暗通道增强的草莓成熟度识别算法”以YOLOV5算法为基础，考虑全天时光线对草莓图像色彩模型的影响及存在坏果的情况，实现更全面的可视化检测。此外，该算法结合了暗通道增强，不仅能解决低照度条件下带来的图像色彩模型影响，还能极大地降低雾霾、大雾等恶劣天气带来的图像识别。经实验模拟，该算法在草莓成熟度的全天时检测中能达到很高的准确率，所以能很好地运用到草莓的多气候的全天时自动化采摘技术当中。

此外，由于该算法技术采用了多种数据扩增方法，能快速丰富数据多样性、极大地提高网络的训练速度，最终整体上大大提高了该目标检测模型的泛化能力。使模型不仅适用于草莓这一单一品种，也可以应用于其他众多农产品的成熟度检测或质量检测，如：冬枣成熟度检测、西红柿成熟度检测等。