[發明專利]一種基于棚架式栽培水果的快速識別與逆光補償裝置

在審

• 申請號: 202210065283.2
• 申請日: 2022-01-20
• 公開（公告）號: CN114494869A
• 公開（公告）日: 2022-05-13
• 發明（設計）人: 文朝武;李明;高建波;黃晶晶;肖旭;李輝;夏杰;熊昊;尹鋼;賈體兵
• 申請（專利權）人: 湖南省農業裝備研究所
• 主分類號: G06V20/10
• 分類號: G06V20/10;G06V10/141;G06V10/147;G06N3/04;G06N3/08;H04N5/235
• 代理公司: 長沙市融智專利事務所(普通合伙) 43114
• 代理人: 魏娟

本發明涉及一種基于棚架式栽培水果的快速識別與逆光補償裝置，主要包括Intel RealSense D435深度相機、機器視覺系統、逆光檢測補償裝置、控制箱、電源模塊、PC機，所述深度相機安裝在機器人的前端，補償裝置安裝在深度相機的正下方，電源模塊提供工作所需的電能，控制器與PC機雙向連接，深度相機通過USB線與PC連接，逆光補償裝置包括逆光檢測、對焦優化和曝光補償模塊，機器視覺系統采用YOLOV4神經網絡對果實的實時目標檢測。

技術領域

本發明涉及農業機器人采摘工作中目標果實在線檢測方法及圖像處理技術，具體涉及一種棚內目標果實快速識別方法與逆光補償裝置，以及為農業作業機器人在棚內逆光環境下執行精準采摘提供高效、精準的識別與定位方法。

背景技術

隨著智慧農業的新興發展，我國農業數字化、智能化、信息化以及機械化技術得到穩步前進。我國葡萄、百香果、獼猴桃等水果種植方式大多采用棚架式栽培種植，且大都是通過人工采收果實。在傳統農業向智能化大面積種植遷移的背景下，農業智能裝備正在新興發展，研發一種棚架式水果采摘機器人具有重要意義。采摘機器人的首要關鍵技術是對果實的快速識別和定位，尤其自然環境下，采摘環境復雜多變，逆光、曝光及果實遮擋等情況增加了果實采摘的難度。在棚內環境下，圖像采集相機在獲取目標果實樣本過程中，使用仰視的方式進行采集，該情況由于太陽光照射下導致圖像逆光或結構光相機無法獲取準確的果實坐標情況時有發生。因此，對于解決大棚環境下對目標果實的精準識別和定位是采摘機器人急需解決的關鍵性問題。

發明內容

由于大棚內農業采摘機器人采摘過程中逆光識別問題嚴重影響了果實檢測精度和速率，為了克服機器人采摘效率低的問題提出了一種基于棚架式栽培水果的快速識別方法與逆光補償裝置，該裝置保證了在逆光的環境下拍出果實清晰的圖片。

一種棚架式栽培水果的快速識別方法與逆光補償裝置，包括：深度相機、機器視覺系統、逆光檢測補償裝置、控制箱、電源模塊、PC機，所述的深度相機安裝在采摘機器人的前端，逆光檢測補償裝置安裝在深度相機的正下方，電源模塊提供工作所需的電能，控制箱機雙向連接，逆光檢測補償裝置包括逆光檢測、對焦優化和曝光補償模塊，機器視覺系統采用YOLOV4神經網絡作為目標檢測網絡。

所述的深度相機型號為Intel RealSense D435，用于對棚內目標果實的RGB圖像采集，，Depth map獲取。

利用果實圖像數據集對YOLOV4神經網絡進行模型訓練，得到模型權重文件，訓練達到迭代次數停止，并且在訓練過程中通過損失函數在驗證集的作用下調和模型精度，以獲得最佳果實目標識別模型，用于對水果目標的實時在線檢測。訓練數據主要是采用深度相機對棚內果實采集的圖像，并對采集的圖像進行數據篩選和擴增。

采集的圖像數據擴增包括對比度調節和亮度變換，增加運動和噪聲干擾等方法，將擴增好的圖像按照6:2:2比例劃分為訓練集、測試集、驗證集。

逆光補償檢測搜尋到圖像暗區域，將自動曝光的測光區域轉移到圖像逆光區域，對搜尋到的暗光區域進行曝光；對曝光區域內的果實做出檢測。

獲取當前環境圖像，獲取圖像中低亮度圖像塊個數占總圖像塊個數的比值記為R_L，高亮度圖像塊數占總塊數的比值記為R_H，若滿足逆光檢測條件，則當前拍攝環境為逆光拍攝環境。

上述一種棚內果實快速識別方法與逆光補償裝置，克服現有棚內果實逆光檢測和逆光補償方法的不足，在各種逆光程度不同的情況下，當果實位于圖像的不同位置，進行曝光補償并收集數據集進行神經網絡的訓練，最終利用YOLOV4模型對果實進行實時目標檢測和定位，可以快速準確地獲取檢測視野中的果實數量和位置。

附圖說明

圖1為基于棚架式栽培水果識別與逆光補償流程圖；

圖2為模擬棚內農業采摘機器人及圖像獲取曝光補償裝置示意圖；

圖3為曝光補償情況下采集的一種果實的閾值分割圖；