[發明專利]一種基于棚架式栽培水果的快速識別與逆光補償裝置

在審

• 申請號: 202210065283.2
• 申請日: 2022-01-20
• 公開（公告）號: CN114494869A
• 公開（公告）日: 2022-05-13
• 發明（設計）人: 文朝武;李明;高建波;黃晶晶;肖旭;李輝;夏杰;熊昊;尹鋼;賈體兵
• 申請（專利權）人: 湖南省農業裝備研究所
• 主分類號: G06V20/10
• 分類號: G06V20/10;G06V10/141;G06V10/147;G06N3/04;G06N3/08;H04N5/235
• 代理公司: 長沙市融智專利事務所(普通合伙) 43114
• 代理人: 魏娟

1.一種基于棚架式栽培水果的快速識別與逆光補償裝置，包括：深度相機、機器視覺系統、逆光檢測補償裝置、控制箱、電源模塊、PC機，其特征在于：所述的深度相機安裝在采摘機器人的前端，逆光檢測補償裝置安裝在深度相機的正下方，電源模塊提供工作所需的電能，控制器與PC機雙向連接，逆光檢測補償裝置包括逆光檢測和曝光補償，機器視覺系統采用YOLOV4神經網絡作為目標檢測網絡。

2.根據權利要求1所述的裝置，其特征在于，所述的深度相機型號為Intel RealSenseD435，用于對棚內果實的RGB圖像采集、Depth map獲取。

3.根據權利要求1所述的裝置，其特征在于，利用果實圖像數據集對YOLOV4神經網絡進行模型訓練，得到模型權重文件，訓練達到迭代次數停止，并且在訓練過程中通過損失函數在驗證集的作用下調和模型精度，以獲得最佳果實目標檢測模型，用于對水果目標的實時在線檢測。

4.根據權利要求3所述的裝置，其特征在于，網絡訓練數據集是采用深度相機對大棚內的目標果實采集的圖像，并進行數據篩選和擴增。

5.根據權利要求4所述的裝置，其特征在于，采集的圖像數據擴增包括調節圖像對比度和亮度，增加運動和噪聲干擾方法，將擴增好的圖像按照6:2:2比例劃分為訓練集、測試集、驗證集。

6.根據權利要求1所述的裝置，其特征在于，逆光補償檢測系統通過搜尋到圖像低亮度區域，將自動曝光的區域轉移到逆光區域，對搜尋到的低亮度區域進行曝光調節；對曝光區域進行降低亮度調節。

7.根據權利要求6所述的裝置，其特征在于，獲取當前拍攝圖像，提取圖像中低亮度圖像塊個數占總圖像塊個數的比值記為R_L，高亮度圖像塊個數占總圖像塊個數的比值記為R_H，若滿足逆光檢測條件，則當前拍攝環境為逆光拍攝環境。

8.根據權利要求1-7任一項所述的基于棚架式栽培水果的快速識別與逆光補償裝置的使用方法，其特征在于，將目標果實圖像劃分為m個圖像塊，計算每個圖像塊的亮度值，根圖像塊的亮度值劃分為高亮度圖像塊和低亮度圖像塊，判斷以下逆光檢測條件是否滿足：

R_L占R_H比值大于預設比重值ThresholdA，其中ThresHoldA為設定的逆光檢測閾值，是根據不同水果識別最佳光照強度設定；

獲取各個圖像塊的亮度值，轉換為該圖像的亮度值，得到圖像的逆光程度；若逆光檢測條件滿足，則判定當前目標果實處于逆光檢測環境中；在檢測到逆光后可通過逆光補償準確地將逆光圖像提升到一個合適地亮度，將補償后的狀態進行鎖定，系統檢測并恢復到正常狀態，等待下一次目標果實的識別。

9.根據權利要求8的使用方法，其特征在于，將目標果實圖像劃分為m個圖像塊，計算每個圖像塊的亮度值，根據圖像塊的亮度值劃分為高亮度圖像塊和低亮度圖像塊，判斷以下逆光補償終止檢測條件是否滿足：

R_L占R_H比值小于預設閾值ThresholdA；

如果逆光補償終止條件滿足，則應終止逆光補償。