[發(fā)明專利]基于深度學(xué)習(xí)的工件識別定位和姿態(tài)估計系統(tǒng)和方法

有效

• 申請?zhí)枺?/td>: 201810591858.8
• 申請日: 2018-06-08
• 公開（公告）號: CN109101966B
• 公開（公告）日: 2022-03-08
• 發(fā)明（設(shè)計）人: 卜偉;張波;徐顯兵;彭成斌;肖江劍
• 申請（專利權(quán)）人: 中國科學(xué)院寧波材料技術(shù)與工程研究所
• 主分類號: G06V10/24
• 分類號: G06V10/24;G06V10/774;G06K9/62
• 代理公司: 南京利豐知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 32256
• 代理人: 王鋒;趙世發(fā)

1.一種基于深度學(xué)習(xí)的工件識別定位和姿態(tài)估計方法，其特征在于包括：

S1.基于YOLO深度學(xué)習(xí)網(wǎng)絡(luò)進行工件識別定位和姿態(tài)估計網(wǎng)絡(luò)設(shè)計，包括在全連接層后增加一個輸出項目，用于獲得角度信息；

S2.采集不同姿態(tài)的工件圖片作為訓(xùn)練樣本以進行構(gòu)建訓(xùn)練集，包括對所述訓(xùn)練樣本進行角度信息標注以及分類信息標注和位置信息標注，

所述角度信息標注包括：

選取某個工件姿態(tài)作為基準，設(shè)置為繞x、y、z軸均為(0°，0°，0°)，分別設(shè)定繞x、y、z軸旋轉(zhuǎn)的角度間隔，取訓(xùn)練樣本圖片繞x、y、z軸旋轉(zhuǎn)的角度所在間隔區(qū)間的中間值進行標注，訓(xùn)練樣本圖片分別繞x軸、y軸旋轉(zhuǎn)的角度在[-15°，14°]范圍內(nèi)，繞z軸旋轉(zhuǎn)角度在[0°，90°]范圍內(nèi)，訓(xùn)練樣本圖片繞x、y軸旋轉(zhuǎn)時，所述角度間隔設(shè)定為5°；訓(xùn)練樣本圖片繞z軸旋轉(zhuǎn)時，所述角度間隔設(shè)定為10°；

所述分類信息標注和位置信息標注包括：分類信息以數(shù)字標注，以區(qū)分不同類別；工件的邊界框通過求其最小外接矩形得出；損失值采用同時融合工件分類誤差、工件位置坐標誤差和工件姿態(tài)誤差的損失函數(shù)進行計算；所述損失函數(shù)包括角度誤差損失函數(shù)、坐標誤差函數(shù)、IOU誤差損失函數(shù)、分類誤差損失函數(shù)；

角度誤差損失函數(shù)公式為：

其中，輸入圖像被分割形成S×S個網(wǎng)格，Ax、Ay、Az分別為網(wǎng)絡(luò)預(yù)測的繞x、y、z軸旋轉(zhuǎn)的角度值，分別為對應(yīng)的標注值，表示物體中心落在網(wǎng)格i中；

坐標誤差損失函數(shù)公式為：

IoU誤差損失函數(shù)公式為：

分類誤差損失函數(shù)公式為：

其中，B為每個網(wǎng)格需要預(yù)測的預(yù)測框的個數(shù)，x，y，w，h，C，p均為網(wǎng)絡(luò)預(yù)測值，均為標注值，表示物體中心落在網(wǎng)格i中，和分別表示物體中心是否落入第i個網(wǎng)格的第j個預(yù)測框內(nèi)；

所述損失函數(shù)為：L＝L_a+L_c+L_IoU+L_cls；

S3.使用步驟S2構(gòu)建的訓(xùn)練集對所述工件識別定位和姿態(tài)估計網(wǎng)絡(luò)進行訓(xùn)練；當損失值達到預(yù)設(shè)閾值時，訓(xùn)練結(jié)束并獲得工件識別定位和姿態(tài)估計模型，所述對所述工件識別定位和姿態(tài)估計網(wǎng)絡(luò)進行訓(xùn)練具體包括：

S31.對未更改網(wǎng)絡(luò)結(jié)構(gòu)前的YOLO深度學(xué)習(xí)網(wǎng)絡(luò)進行訓(xùn)練，采用梯度下降優(yōu)化器優(yōu)化變量，反復(fù)訓(xùn)練直至損失值達到預(yù)設(shè)閾值，獲取更新后的權(quán)重；

S32.將步驟S31訓(xùn)練后的權(quán)重載入修改過的工件識別定位和姿態(tài)估計網(wǎng)絡(luò)中，采用梯度下降優(yōu)化器優(yōu)化預(yù)測角度相關(guān)的變量，反復(fù)訓(xùn)練直至損失值達到預(yù)設(shè)閾值；

S4.調(diào)用所述工件識別定位和姿態(tài)估計模型對工件實物圖片進行識別定位和姿態(tài)估計。