[發(fā)明專利]一種工業(yè)機(jī)器人三維姿態(tài)估計(jì)方法、裝置及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010231968.0
• 申請(qǐng)日: 2020-03-27
• 公開（公告）號(hào): CN111445519A
• 公開（公告）日: 2020-07-24
• 發(fā)明（設(shè)計(jì)）人: 陳燈;魏巍;張彥鐸;吳云韜;周華兵;劉瑋;段功豪;于寶成;盧濤;鞠劍平;唐劍影;徐文霞;彭麗;彭煜祺;羅徐;王逸文
• 申請(qǐng)（專利權(quán)）人: 武漢工程大學(xué)
• 主分類號(hào): G06T7/70
• 分類號(hào): G06T7/70
• 代理公司: 北京輕創(chuàng)知識(shí)產(chǎn)權(quán)代理有限公司 11212
• 代理人: 尉保芳

1.一種工業(yè)機(jī)器人三維姿態(tài)估計(jì)方法，其特征在于，包括如下步驟：

通過預(yù)設(shè)的視覺傳感器得到工業(yè)機(jī)器人的二維圖像；

對(duì)所述二維圖像進(jìn)行二維姿態(tài)估計(jì)處理，得到二維姿態(tài)矩陣；

通過預(yù)設(shè)的測(cè)距傳感器得到工業(yè)機(jī)器人深度信息；

根據(jù)所述工業(yè)機(jī)器人深度信息對(duì)所述二維姿態(tài)矩陣進(jìn)行世界坐標(biāo)系轉(zhuǎn)換，得到工業(yè)機(jī)器人三維姿態(tài)矩陣，將所述工業(yè)機(jī)器人三維姿態(tài)矩陣作為工業(yè)機(jī)器人三維姿態(tài)信息。

2.根據(jù)權(quán)利要求1所述的三維姿態(tài)估計(jì)方法，其特征在于，所述對(duì)所述二維圖像進(jìn)行二維姿態(tài)估計(jì)處理，得到二維姿態(tài)矩陣的過程包括：

構(gòu)建工業(yè)機(jī)器人的二維姿態(tài)估計(jì)深度神經(jīng)網(wǎng)絡(luò)模型；

根據(jù)預(yù)設(shè)工業(yè)機(jī)器人姿態(tài)數(shù)據(jù)集對(duì)所述二維姿態(tài)估計(jì)深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，所述預(yù)設(shè)工業(yè)機(jī)器人姿態(tài)數(shù)據(jù)集包括標(biāo)注信息，所述標(biāo)注信息為工業(yè)機(jī)器人的多個(gè)軸關(guān)節(jié)的位置信息；

根據(jù)經(jīng)訓(xùn)練的二維姿態(tài)估計(jì)深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練模型對(duì)所述工業(yè)機(jī)器人二維圖像進(jìn)行二維姿態(tài)估計(jì)處理，得到工業(yè)機(jī)器人二維姿態(tài)矩陣，所述工業(yè)機(jī)器人二維姿態(tài)矩陣包括多個(gè)工業(yè)機(jī)器人軸關(guān)節(jié)像素坐標(biāo)，每個(gè)工業(yè)機(jī)器人軸關(guān)節(jié)像素坐標(biāo)表示為(u，v)。

3.根據(jù)權(quán)利要求2所述的三維姿態(tài)估計(jì)方法，其特征在于，所述工業(yè)機(jī)器人深度信息包括與各個(gè)所述工業(yè)機(jī)器人軸關(guān)節(jié)像素坐標(biāo)(u，v)對(duì)應(yīng)的深度值,所述根據(jù)所述工業(yè)機(jī)器人深度信息對(duì)所述二維姿態(tài)矩陣進(jìn)行世界坐標(biāo)系轉(zhuǎn)換，得到工業(yè)機(jī)器人三維姿態(tài)矩陣，將所述工業(yè)機(jī)器人三維姿態(tài)矩陣作為工業(yè)機(jī)器人三維姿態(tài)信息的過程包括：

根據(jù)各個(gè)所述深度值分別對(duì)對(duì)應(yīng)的所述工業(yè)機(jī)器人軸關(guān)節(jié)像素坐標(biāo)(u，v)進(jìn)行計(jì)算，得到各個(gè)工業(yè)機(jī)器人軸關(guān)節(jié)世界坐標(biāo)(x，y，z)^T；

根據(jù)多個(gè)所述工業(yè)機(jī)器人軸關(guān)節(jié)世界坐標(biāo)(x，y，z)^T得到工業(yè)機(jī)器人三維姿態(tài)矩陣。

4.根據(jù)權(quán)利要求1至3任一項(xiàng)所述的三維姿態(tài)估計(jì)方法，其特征在于，所述根據(jù)所述工業(yè)機(jī)器人深度信息對(duì)所述二維姿態(tài)矩陣進(jìn)行世界坐標(biāo)系轉(zhuǎn)換，得到工業(yè)機(jī)器人三維姿態(tài)矩陣，將所述工業(yè)機(jī)器人三維姿態(tài)矩陣作為工業(yè)機(jī)器人三維姿態(tài)信息的過程包括：

根據(jù)各個(gè)所述深度值和第一式分別對(duì)對(duì)應(yīng)的所述工業(yè)機(jī)器人軸關(guān)節(jié)像素坐標(biāo)(u，v)進(jìn)行計(jì)算，得到各個(gè)工業(yè)機(jī)器人軸關(guān)節(jié)世界坐標(biāo)(x，y，z)^T，所述第一式為：

其中，所述視覺傳感器包括用于拍攝工業(yè)機(jī)器人的相機(jī)，K為相機(jī)的內(nèi)參數(shù)矩陣，M為相機(jī)的外參數(shù)矩陣，d為工業(yè)機(jī)器人軸關(guān)節(jié)像素坐標(biāo)(u，v)對(duì)應(yīng)的的深度值。

5.一種工業(yè)機(jī)器人三維姿態(tài)估計(jì)裝置，其特征在于，包括：

二維圖像獲得模塊，用于通過預(yù)設(shè)的視覺傳感器得到工業(yè)機(jī)器人的二維圖像；

二維圖像姿態(tài)估計(jì)模塊，用于對(duì)所述二維圖像進(jìn)行二維姿態(tài)估計(jì)處理，得到二維姿態(tài)矩陣；

深度信息獲得模塊：用于通過預(yù)設(shè)的測(cè)距傳感器得到工業(yè)機(jī)器人深度信息；

三維姿態(tài)獲得模塊，用于根據(jù)所述工業(yè)機(jī)器人深度信息對(duì)所述二維姿態(tài)矩陣進(jìn)行世界坐標(biāo)系轉(zhuǎn)換，得到工業(yè)機(jī)器人三維姿態(tài)矩陣，將所述工業(yè)機(jī)器人三維姿態(tài)矩陣作為工業(yè)機(jī)器人三維姿態(tài)信息。

6.根據(jù)權(quán)利要求5所述的姿態(tài)估計(jì)裝置，其特征在于，所述二維圖像姿態(tài)估計(jì)模塊具體用于：

構(gòu)建工業(yè)機(jī)器人的二維姿態(tài)估計(jì)深度神經(jīng)網(wǎng)絡(luò)模型；

根據(jù)預(yù)設(shè)工業(yè)機(jī)器人姿態(tài)數(shù)據(jù)集對(duì)所述二維姿態(tài)估計(jì)深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，所述預(yù)設(shè)工業(yè)機(jī)器人姿態(tài)數(shù)據(jù)集包括標(biāo)注信息，所述標(biāo)注信息為工業(yè)機(jī)器人的多個(gè)軸關(guān)節(jié)的位置信息；

根據(jù)經(jīng)訓(xùn)練的二維姿態(tài)估計(jì)深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練模型對(duì)所述工業(yè)機(jī)器人二維圖像進(jìn)行二維姿態(tài)估計(jì)處理，得到工業(yè)機(jī)器人二維姿態(tài)矩陣，所述工業(yè)機(jī)器人二維姿態(tài)矩陣包括多個(gè)工業(yè)機(jī)器人軸關(guān)節(jié)像素坐標(biāo)，每個(gè)工業(yè)機(jī)器人軸關(guān)節(jié)像素坐標(biāo)表示為(u，v)。