[發(fā)明專利]一種基于深度學(xué)習(xí)的目標(biāo)圖像角度計(jì)算方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110814314.5
• 申請(qǐng)日: 2021-07-19
• 公開（公告）號(hào): CN113537079A
• 公開（公告）日: 2021-10-22
• 發(fā)明（設(shè)計(jì)）人: 嚴(yán)圣軍;劉德峰;唐融融;倪瑋瑋
• 申請(qǐng)（專利權(quán)）人: 江蘇天楹機(jī)器人智能科技有限公司;上海智楹機(jī)器人科技有限公司;中國天楹股份有限公司;江蘇天楹環(huán)保能源成套設(shè)備有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08;G06T7/10;G06T7/60
• 代理公司: 南京鐘山專利代理有限公司 32252
• 代理人: 劉林峰

1.一種基于深度學(xué)習(xí)的目標(biāo)圖像角度計(jì)算方法，其特征在于包括以下步驟：

(1)對(duì)YOLO目標(biāo)檢測模型、角度分類模型和GAN模型進(jìn)行模型訓(xùn)練；

(2)通過YOLO目標(biāo)檢測模型獲取目標(biāo)垃圾RGB圖像；

(3)角度分類模型接收檢測到的目標(biāo)垃圾RGB圖像，并對(duì)其角度進(jìn)行計(jì)算；

(4)GAN模型對(duì)檢測到的目標(biāo)垃圾RGB圖像進(jìn)行降噪處理，再通過OpenCV進(jìn)行目標(biāo)垃圾抓取的角度計(jì)算；

(5)根據(jù)角度分類模型預(yù)測的準(zhǔn)確率來判斷最終的目標(biāo)垃圾實(shí)際抓取角度。

2.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的目標(biāo)圖像角度計(jì)算方法，其特征在于：在上述步驟(1)中，模型訓(xùn)練的方法包括以下步驟：

(1.1)通過工業(yè)相機(jī)采集待識(shí)別檢測的RGB圖像；

(1.2)標(biāo)注人員對(duì)需要識(shí)別的RGB圖像進(jìn)行長方形矩陣框的標(biāo)注，獲得RGB圖像上的目標(biāo)垃圾點(diǎn)位置，并放入YOLO目標(biāo)檢測模型進(jìn)行訓(xùn)練；

(1.3)在標(biāo)注人員進(jìn)行標(biāo)注畫框后，將每個(gè)目標(biāo)垃圾點(diǎn)坐標(biāo)信息提取壓縮成目標(biāo)垃圾圖片，并進(jìn)行角度標(biāo)注，再將目標(biāo)垃圾圖片進(jìn)行分類，分類后的目標(biāo)垃圾圖片再放入角度分類模型進(jìn)行訓(xùn)練；

(1.4)拍攝目標(biāo)垃圾在干凈皮帶上的圖像設(shè)為干凈背景圖像作為訓(xùn)練標(biāo)簽，再拍攝目標(biāo)垃圾周圍有其他混淆垃圾背景圖像作為訓(xùn)練圖片，然后再一起放入GAN模型中進(jìn)行訓(xùn)練。

3.根據(jù)權(quán)利要求2所述的一種基于深度學(xué)習(xí)的目標(biāo)圖像角度計(jì)算方法，其特征在于：在上述步驟(1.3)中，把每個(gè)目標(biāo)垃圾點(diǎn)坐標(biāo)信息提取壓縮至224*224尺寸的目標(biāo)垃圾圖片，并將每張目標(biāo)垃圾圖片進(jìn)行0到179度的分類。

4.根據(jù)權(quán)利要求2所述的一種基于深度學(xué)習(xí)的目標(biāo)圖像角度計(jì)算方法，其特征在于：在上述步驟(1.4)中，GAN模型為：

其中，V是指價(jià)值函數(shù)，即Value Function；G是指生成器，即用來生成降噪后的圖片；D是指判別器，即用來判斷降噪去雜質(zhì)效果的好壞。

5.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的目標(biāo)圖像角度計(jì)算方法，其特征在于：在上述步驟(2)中，通過YOLO目標(biāo)檢測模型獲取目標(biāo)垃圾RGB圖像的具體流程為：

(2.1)通過工業(yè)相機(jī)采集待識(shí)別檢測的RGB圖像；

(2.2)將被檢測的RGB圖像輸入到輸入尺寸為608*608的YOLO目標(biāo)檢測模型中獲取圖像中涉及目標(biāo)垃圾的所有位置框的列表，再經(jīng)非極大值抑制算法過濾，得到最后需要保留的目標(biāo)垃圾點(diǎn)坐標(biāo)位置信息；

(2.3)將檢測到的每個(gè)目標(biāo)垃圾根據(jù)點(diǎn)坐標(biāo)截取成長方形圖片，并統(tǒng)一壓縮至224*224尺寸的目標(biāo)垃圾圖片。

6.根據(jù)權(quán)利要求5所述的一種基于深度學(xué)習(xí)的目標(biāo)圖像角度計(jì)算方法，其特征在于：在上述步驟(2.2)中，非極大值抑制算法為：

其中，s_i表示每個(gè)邊框得分；M表示當(dāng)前得分最高的框；b_i表示剩余框的某個(gè)框；N_t為設(shè)定的NMS閾值；iou為兩個(gè)識(shí)別框的重合面積比例。

7.根據(jù)權(quán)利要求5所述的一種基于深度學(xué)習(xí)的目標(biāo)圖像角度計(jì)算方法，其特征在于：在上述步驟(3)中，角度分類模型進(jìn)行角度計(jì)算的具體流程為：

(3.1)將步驟(2.3)獲取到的目標(biāo)垃圾圖片放入角度分類模型進(jìn)行分類預(yù)測；

(3.2)把角度分類模型最后一個(gè)全連接層得到的向量矩陣通過Softmax函數(shù)計(jì)算得到每個(gè)角度的準(zhǔn)確度，并獲取最高準(zhǔn)確度的前兩個(gè)角度及其對(duì)應(yīng)的準(zhǔn)確率；

(3.3)通過加權(quán)求和方法將預(yù)測角度乘以其對(duì)應(yīng)的準(zhǔn)確率而后兩者相加得到角度值。

8.根據(jù)權(quán)利要求7所述的一種基于深度學(xué)習(xí)的目標(biāo)圖像角度計(jì)算方法，其特征在于：在上述步驟(3.2)中，Softmax函數(shù)的計(jì)算公式為：

其中，e表示自然常數(shù)，歐拉數(shù)；V_i表示V數(shù)組向量中的第i個(gè)元素；S_i表示該元素的softmax值，即該元素的指數(shù)與所有元素指數(shù)和的比值。