YOLOv5結合暗通道增強的草莓成熟度識別

來自 搜狐網 的圖片

YOLOv5結合暗通道增強的草莓成熟度識別為了準確的實現使用採摘機器人對草莓果實的採摘，需要草莓果實成熟度的準確判定算法，以便提高草莓果實採摘精度，減少誤採摘或是漏採摘。本研究以「豐香」草莓為研究對象，建立成熟、接近成熟、未成熟、壞果四種成熟度標準，並採用YOLOV5結合暗通道增強算法，草莓成熟度識別正確率可以達到90％以上，同時該方法在部分遮擋、多果等複雜環境下具有良好的魯棒性。

目錄

案例簡介

為了準確的實現使用採摘機器人對草莓果實的採摘，需要草莓果實成熟度的準確判定算法，以便提高草莓果實採摘精度，減少誤採摘或是漏採摘。本研究以「豐香」草莓為研究對象，建立成熟、接近成熟、未成熟、壞果四種成熟度標準，並採用YOLOV5結合暗通道增強算法，草莓成熟度識別正確率可以達到90％以上，同時該方法在部分遮擋、多果等複雜環境下具有良好的魯棒性。

技術要點

草莓（Ｓｔｒａｗｂｅｒｒｙ）是薔薇科草莓屬植物的泛稱。草莓果實呈圓錐形，鮮紅色，果肉淺紅色，硬度中等，果實糖度高而穩定；果肉柔軟，沒有果皮保護，易變色變質，成熟後必須及時採摘、即時銷售。在中國農業現代化的趨勢下，對比傳統的人工感官識別並採摘，精準高效的自動化採摘設備成為關鍵。在「豐香」草莓的大規模生產中，為了準確的實現使用自動採摘設備對草莓果實的採摘，需要草莓果實成熟度的準確判定算法，以便提高草莓果實採摘精度，減少誤採摘或是漏採摘。

1. 關鍵技術

本項目包含的關鍵技術有：YOLOv5目標檢測模型、圖像預處理技術、暗通道增強的低照度增強算法。

YOLOv5目標檢測模型

YOLO系列是基於深度學習的回歸方法，是一種目標檢測模型，本研究採用的是YOLOv5算法。YOLOv5是一種單階段目標檢測算法，通常劃分為4個通用的模塊，具體包括：輸入端、基準網絡、Neck網絡與Head輸出端。

為進一步增加圖像數據量、豐富數據多樣性、提高模型泛化能力，需對圖像進行數據擴增的預處理，即對圖像原始數據做一些變換但不實際增加原始數據。

本項目在YOLOv5內設的Mosaic數據增強基礎上，進一步實現圖像翻轉、圖像扭曲、添加噪聲、圖像模糊、圖像區域隨機擦除、風格轉換等數據擴增處理。

1）圖像翻轉：採用cifarnet處理的隨機左右翻轉。

2）圖像旋轉：採用SSD處理的隨機旋轉。

3）圖像扭曲：對圖像進行仿射變換或透視變換。仿射變換可以將矩形轉換成平行四邊形，透視變換可以將矩陣轉變成梯形。集中對像素點實現三角函數變換，對圖像做扭曲變化。

1）色彩抖動： 抖動是通過錯位的位移對圖像產生的一種特殊效果。色彩抖動通過對構成圖像的色相產生位移，造成臨近點狀差異的色彩交叉效果。

2）噪聲擾動：本項目採用Gaussion Noise 高斯模糊。當神經網絡試圖學習可能無用的高頻特徵（大量出現的模式）時，通常會發生過度擬合。具有零均值的高斯噪聲基本上在所有頻率中具有數據點，從而有效地扭曲高頻特徵。添加適量的噪音，不僅可以豐富數據多樣性，也可以增強學習能力。

3）圖像區域隨機擦除：隨機選擇圖像的矩形區域，並使用隨機值擦除其像素。生成具有遮擋級別的訓練圖像，會降低過擬合風險並使得模型對遮擋具有一定的魯棒性。

4）風格轉換：將風格遷移的訓練和應用分離，可以快速應用。先訓練好幾種不同風格，將風格特徵固定下來了。對圖像進行先卷積再轉置卷積（上採樣），然後損失的處理；再對Transform Net的變量梯度下降，最後輸出轉換圖像。

創新點

1）創新點1：增加「壞果」標準，提高草莓果實採摘精度，減少了誤採摘或漏採摘的可能性。

2）創新點2：結合圖像暗通道去霧增強算法，解決低照度條件下的圖像處理與目標檢測，可實現全天時可視化檢測。

經過翻閱文獻，現已有部分對草莓成熟度快速識別的研究：ＪａｓｐｅｒＧ Ｔａｌｌａｄａ等［1］提取了三個特徵波 長：685，865和985 nm建立草莓堅硬度的檢測模型，準確度達到了78.6％；趙玲等採用HIS色彩空間模型，提取了草莓圖像H分量的色度直方圖，並結合BP神經網絡建立基於顏色的草莓成熟度檢測模型，準確度達到了90％以上。這些檢測模型存在精確度低或者檢測對象不全面等不足。

「YOLOV5結合暗通道增強的草莓成熟度識別算法」以YOLOV5算法為基礎，考慮全天時光線對草莓圖像色彩模型的影響及存在壞果的情況，實現更全面的可視化檢測。草莓成熟度的識別主要依據果實表面的着色情況分為三類:未成熟，果肉着色為青色和乳白色，其中90%以上為青色；即將成熟，果肉着色為乳白色和紅色，其中80%以上為乳白色；成熟，果肉着色80%以上為艷紅色。在着色基礎上，依據果實大小與飽滿程度，又得以區分：壞果，為着色暗紅或出現黑色、果實較小、形狀乾癟。

3）創新點3：該項目採用多種數據擴增方法以增加圖像數據量。一方面可以豐富數據多樣性而不實際增加原始數據，極大地提高網絡的訓練速度，在採集圖像較少的情況下就可以快速建立數據集，利於果實的快速準確識別。另一方面可以提高模型泛化能力，使模型不僅僅適用於草莓成熟度識別，也可以完美使用其他農產品的檢測。

應用市場

本項目是針對「豐香」草莓實現自動化採摘創新設計的算法技術。目前已有的各種檢測模型存在精確度低或者檢測對象不全面等不足。而本項目創新設計的「YOLOV5結合暗通道增強的草莓成熟度識別算法」以YOLOV5算法為基礎，考慮全天時光線對草莓圖像色彩模型的影響及存在壞果的情況，實現更全面的可視化檢測。此外，該算法結合了暗通道增強，不僅能解決低照度條件下帶來的圖像色彩模型影響，還能極大地降低霧霾、大霧等惡劣天氣帶來的圖像識別。經實驗模擬，該算法在草莓成熟度的全天時檢測中能達到很高的準確率，所以能很好地運用到草莓的多氣候的全天時自動化採摘技術當中。

此外，由於該算法技術採用了多種數據擴增方法，能快速豐富數據多樣性、極大地提高網絡的訓練速度，最終整體上大大提高了該目標檢測模型的泛化能力。使模型不僅適用於草莓這一單一品種，也可以應用於其他眾多農產品的成熟度檢測或質量檢測，如：冬棗成熟度檢測、西紅柿成熟度檢測等。