[發(fā)明專利]一種基于深度學(xué)習(xí)點(diǎn)云匹配的6DOF物體姿態(tài)估計(jì)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011520156.4
• 申請(qǐng)日: 2020-12-21
• 公開（公告）號(hào): CN112465903A
• 公開（公告）日: 2021-03-09
• 發(fā)明（設(shè)計(jì)）人: 黃舒園;張克勤;楊根科;褚健
• 申請(qǐng)（專利權(quán)）人: 上海交通大學(xué)寧波人工智能研究院
• 主分類號(hào): G06T7/70
• 分類號(hào): G06T7/70;G06T7/30;G06T7/00;G06N3/08
• 代理公司: 上海劍秋知識(shí)產(chǎn)權(quán)代理有限公司 31382
• 代理人: 徐浩俊

1.一種基于深度學(xué)習(xí)點(diǎn)云匹配的6DOF物體姿態(tài)估計(jì)方法，其特征在于，所述方法包括以下步驟：

步驟1、根據(jù)基于深度學(xué)習(xí)的物體關(guān)鍵點(diǎn)檢測(cè)網(wǎng)絡(luò)模型對(duì)待識(shí)別圖像進(jìn)行關(guān)鍵點(diǎn)檢測(cè)，獲得所述待識(shí)別圖像中物體的關(guān)鍵點(diǎn)的像素坐標(biāo)，并將所述像素坐標(biāo)轉(zhuǎn)換為圖像坐標(biāo)，用于后續(xù)的PNP算法；

步驟2、根據(jù)所述關(guān)鍵點(diǎn)的3D坐標(biāo)和圖像坐標(biāo)，求解所述PNP算法得到所述待識(shí)別圖像中所述物體的一個(gè)初始姿態(tài)，并用于后續(xù)ICP算法配準(zhǔn)的初值；

步驟3、根據(jù)所述待識(shí)別圖像中所述物體的所述關(guān)鍵點(diǎn)進(jìn)行物體分割，獲得包含所述物體的姿態(tài)信息的局部點(diǎn)云，并采用所述ICP算法將所述局部點(diǎn)云與模板點(diǎn)云進(jìn)行配準(zhǔn)，獲取所述待識(shí)別圖像中所述物體的位姿。

2.如權(quán)利要求1所述的基于深度學(xué)習(xí)點(diǎn)云匹配的6DOF物體姿態(tài)估計(jì)方法，其特征在于，在所述步驟1中根據(jù)基于深度學(xué)習(xí)的所述物體關(guān)鍵點(diǎn)檢測(cè)網(wǎng)絡(luò)模型對(duì)所述待識(shí)別圖像進(jìn)行關(guān)鍵點(diǎn)檢測(cè)之前，還包括以下步驟：

步驟1.1、獲取多幅待識(shí)別目標(biāo)物體的參考圖像；

步驟1.2、對(duì)所述參考圖像進(jìn)行關(guān)鍵點(diǎn)的標(biāo)記，得到對(duì)應(yīng)的參考標(biāo)簽；

步驟1.3、根據(jù)各所述參考圖像及對(duì)應(yīng)的所述參考標(biāo)簽進(jìn)行建模，得到基于深度學(xué)習(xí)的所述物體關(guān)鍵點(diǎn)檢測(cè)網(wǎng)絡(luò)模型。

3.如權(quán)利要求2所述的基于深度學(xué)習(xí)點(diǎn)云匹配的6DOF物體姿態(tài)估計(jì)方法，其特征在于，在所述步驟1.3中根據(jù)各所述參考圖像及對(duì)應(yīng)的所述參考標(biāo)簽進(jìn)行建模之前，還包括以下步驟：

步驟1.3.1、將所述參考圖像調(diào)整為480x640大小；

步驟1.3.2、隨機(jī)更改所述參考圖像的亮度和飽和度；

步驟1.3.3、隨機(jī)旋轉(zhuǎn)所述參考圖像；

步驟1.3.4、將所述參考圖像和所述參考標(biāo)簽轉(zhuǎn)換為PyTorch張量，并在[-1,1]之間進(jìn)行歸一化處理。

4.如權(quán)利要求2所述的基于深度學(xué)習(xí)點(diǎn)云匹配的6DOF物體姿態(tài)估計(jì)方法，其特征在于，在所述步驟1.3中使用ResNet18作為基本框架建立基于深度學(xué)習(xí)的所述物體關(guān)鍵點(diǎn)檢測(cè)網(wǎng)絡(luò)模型，并修改所述ResNet18的第一層和最后一層。

5.如權(quán)利要求4所述的基于深度學(xué)習(xí)點(diǎn)云匹配的6DOF物體姿態(tài)估計(jì)方法，其特征在于，在所述ResNet18的所述第一層中，將神經(jīng)網(wǎng)絡(luò)接受灰度圖像的輸入通道數(shù)設(shè)置為1。

6.如權(quán)利要求4所述的基于深度學(xué)習(xí)點(diǎn)云匹配的6DOF物體姿態(tài)估計(jì)方法，其特征在于，所述步驟1.2中的所述參考標(biāo)簽的數(shù)量為16個(gè)。

7.如權(quán)利要求6所述的基于深度學(xué)習(xí)點(diǎn)云匹配的6DOF物體姿態(tài)估計(jì)方法，其特征在于，在所述ResNet18的所述最后一層中，將所述物體關(guān)鍵點(diǎn)檢測(cè)網(wǎng)絡(luò)模型的輸出通道數(shù)設(shè)定為32，以預(yù)測(cè)所述物體的16個(gè)所述參考標(biāo)簽的X和Y坐標(biāo)。

8.如權(quán)利要求6所述的基于深度學(xué)習(xí)點(diǎn)云匹配的6DOF物體姿態(tài)估計(jì)方法，其特征在于，所述物體關(guān)鍵點(diǎn)檢測(cè)網(wǎng)絡(luò)模型的損失函數(shù)為所述參考標(biāo)簽的預(yù)測(cè)值和真實(shí)值之間的均方誤差，每當(dāng)所述損失函數(shù)達(dá)到新的最小值時(shí)，保存網(wǎng)絡(luò)權(quán)重。

9.如權(quán)利要求8所述的基于深度學(xué)習(xí)點(diǎn)云匹配的6DOF物體姿態(tài)估計(jì)方法，其特征在于，利用LableImg標(biāo)注工具獲取所述物體的外接包圍框，得到所述外接包圍框的長和寬以及左上角的像素坐標(biāo)值，并和所述參考標(biāo)簽的坐標(biāo)值一并存入XML文件中。

10.如權(quán)利要求1所述的基于深度學(xué)習(xí)點(diǎn)云匹配的6DOF物體姿態(tài)估計(jì)方法，其特征在于，所述待識(shí)別圖像是利用相機(jī)拍照得到。