[發明專利]一種基于深度學習的目標圖像角度計算方法

在審

• 申請號: 202110814314.5
• 申請日: 2021-07-19
• 公開（公告）號: CN113537079A
• 公開（公告）日: 2021-10-22
• 發明（設計）人: 嚴圣軍;劉德峰;唐融融;倪瑋瑋
• 申請（專利權）人: 江蘇天楹機器人智能科技有限公司;上海智楹機器人科技有限公司;中國天楹股份有限公司;江蘇天楹環保能源成套設備有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08;G06T7/10;G06T7/60
• 代理公司: 南京鐘山專利代理有限公司 32252
• 代理人: 劉林峰

本發明公開了一種基于深度學習的目標圖像角度計算方法，包括以下步驟：（1）對YOLO目標檢測模型、角度分類模型和GAN模型進行模型訓練；（2）通過YOLO目標檢測模型獲取目標垃圾RGB圖像；（3）角度分類模型接收檢測到的目標垃圾RGB圖像，并對其角度進行計算；（4）GAN模型對檢測到的目標垃圾RGB圖像進行降噪處理，再通過OpenCV進行目標垃圾抓取的角度計算；（5）根據角度分類模型預測的準確率來判斷最終的目標垃圾實際抓取角度。本發明采用兩種不同計算方法結合，能夠在較大程度上優化目標計算角度，提高了分選準確率。

技術領域

本發明涉及深度學習領域，具體涉及一種基于深度學習的目標圖像角度計算方法。

背景技術

用于物料抓取的機械手是垃圾分選機器人必不可少的組成部分。物料被置于傳送帶上后，由視覺系統將采集到的物料圖像信息進行處理，生成機器人坐標系下的物料位姿數據并傳輸給機器人；機器人根據物料位姿數據迅速進行路徑規劃后調整機械手位姿，從而準確抓取物料。傳統的機械手抓取目標垃圾的角度是通過視覺模塊直接使用OpenCV進行計算，再將目標角度發送給機器人夾爪進行實時抓取，其中，OpenCV法是根據圖像的開、閉和腐蝕膨脹進行計算，找到最大輪廓，求取圖片的最小外接矩形，進而獲得短邊中心點的斜率；該方法適用于簡單場景下的物料抓取，但是對于復雜環境下的作業，如目標圖像中含有其他雜點、物料堆疊等情況，往往會影響機械手抓取目標角度的計算，導致機械手反映速度慢或者識別錯誤，進而影響整個產線的分選效率。

深度學習可以模仿人腦的機制來解釋數據，但是現階段通過深度學習抓取物料角度的計算方法幾乎都是基于如MaskRCNN、YOLACT等實例分割算法基礎上開發的。但是，首先實例分割算法需要針對每個目標垃圾的輪廓進行標注，因而其前期數據的標注量較大；其次在真實產線上，應用實例分割算法檢測來料效率較低；而且由于來料性狀復雜，也會導致實例分割算法對目標垃圾輪廓分割不準確，從而導致角度計算偏差不準等問題。因此，使用基于其他深度學習計算模型來解決物料抓取角度計算不準確問題，成為了當前亟需解決的難題。

發明內容

本發明要解決的技術問題是提供一種基于深度學習的目標圖像角度計算方法，結合YOLO目標檢測模型、角度分類模型和GAN模型三大模型，同時運用OpenCV進行角度計算，兩種不同計算方法的結合能夠在較大程度上優化目標計算角度，提高了分選準確率，計算效果好，且計算速度快。

為解決上述技術問題，本發明采取如下技術方案：本發明的一種基于深度學習的目標圖像角度計算方法，其創新點在于包括以下步驟：

(1)對YOLO目標檢測模型、角度分類模型和GAN模型進行模型訓練；

(2)通過YOLO目標檢測模型獲取目標垃圾RGB圖像；

(3)角度分類模型接收檢測到的目標垃圾RGB圖像，并對其角度進行計算；

(4)GAN模型對檢測到的目標垃圾RGB圖像進行降噪處理，再通過OpenCV進行目標垃圾抓取的角度計算；

(5)根據角度分類模型預測的準確率來判斷最終的目標垃圾實際抓取角度。

優選的，在上述步驟(1)中，模型訓練的方法包括以下步驟：

(1.1)通過工業相機采集待識別檢測的RGB圖像；

(1.2)標注人員對需要識別的RGB圖像進行長方形矩陣框的標注，獲得RGB圖像上的目標垃圾點位置，并放入YOLO目標檢測模型進行訓練；

(1.3)在標注人員進行標注畫框后，將每個目標垃圾點坐標信息提取壓縮成目標垃圾圖片，并進行角度標注，再將目標垃圾圖片進行分類，分類后的目標垃圾圖片再放入角度分類模型進行訓練；