[發(fā)明專利]物體姿態(tài)估計(jì)模型訓(xùn)練方法、系統(tǒng)、裝置及介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010179938.X
• 申請(qǐng)日: 2020-03-16
• 公開（公告）號(hào): CN111489394A
• 公開（公告）日: 2020-08-04
• 發(fā)明（設(shè)計(jì)）人: 許澤林;陳軻;張鍵馳;賈奎
• 申請(qǐng)（專利權(quán)）人: 華南理工大學(xué)
• 主分類號(hào): G06T7/73
• 分類號(hào): G06T7/73;G06T7/11;G06T7/90
• 代理公司: 廣州嘉權(quán)專利商標(biāo)事務(wù)所有限公司 44205
• 代理人: 何文聰

1.一種物體姿態(tài)估計(jì)模型的訓(xùn)練方法，其特征在于，包括以下步驟：

獲取含待估計(jì)物體的RGB圖像和深度圖像，輸入所述姿態(tài)估計(jì)模型；所述姿態(tài)估計(jì)模型包括分割提取模塊、稠密對(duì)應(yīng)映射模塊和姿態(tài)估計(jì)輸出模塊；

根據(jù)所述RGB圖像和所述深度圖像，通過(guò)所述分割提取模塊分割得到物體的掩膜，確定分割過(guò)程中的第一損失值，并提取所述掩膜覆蓋區(qū)域的像素級(jí)特征；

通過(guò)所述稠密對(duì)應(yīng)映射模塊將所述像素級(jí)特征映射到物體坐標(biāo)系，確定映射過(guò)程中的第二損失值，并基于映射后的像素級(jí)特征得到像素對(duì)特征；

根據(jù)所述像素對(duì)特征，通過(guò)所述姿態(tài)估計(jì)輸出模塊對(duì)所述物體進(jìn)行姿態(tài)估計(jì)，得到姿態(tài)估計(jì)結(jié)果，確定姿態(tài)估計(jì)過(guò)程中的第三損失值；

根據(jù)所述第一損失值、第二損失值和第三損失值，對(duì)所述姿態(tài)估計(jì)模型的參數(shù)進(jìn)行訓(xùn)練更新；

所述基于映射后的像素級(jí)特征得到像素對(duì)特征，包括：

將經(jīng)過(guò)稠密對(duì)應(yīng)映射處理的像素級(jí)特征分成兩個(gè)互斥子集，從這兩個(gè)互斥子集中分別隨機(jī)挑選像素級(jí)特征進(jìn)行兩兩配對(duì)，并將配對(duì)后的像素級(jí)特征送入到低秩雙線性池化層得到像素對(duì)特征；所述低秩雙線性池化層的處理邏輯如下：

式中，a、b表示一對(duì)像素級(jí)特征；f(a,b)表示處理a、b得到的像素對(duì)特征；P、U、V表示用于雙線性池化f(a,b)＝a^TWb中系數(shù)矩陣W的低秩矩陣；σ表示非線性激活函數(shù)；表示哈達(dá)馬乘積。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于：所述分割提取模塊包括卷積神經(jīng)網(wǎng)絡(luò)；

所述通過(guò)所述分割提取模塊分割得到物體的掩膜，確定分割過(guò)程中的第一損失值步驟，包括：

通過(guò)所述卷積神經(jīng)網(wǎng)絡(luò)對(duì)所述RGB圖像進(jìn)行分割，得到物體的掩膜；

根據(jù)所述掩膜和物體真實(shí)掩膜，確定第一損失值。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于：所述分割提取模塊還包括點(diǎn)云神經(jīng)網(wǎng)絡(luò)；

所述提取所述掩膜覆蓋區(qū)域的像素級(jí)特征步驟，包括：

通過(guò)所述卷積神經(jīng)網(wǎng)絡(luò)提取所述RGB圖像中所述掩膜覆蓋區(qū)域的像素的顏色特征；

通過(guò)所述點(diǎn)云神經(jīng)網(wǎng)絡(luò)提取所述深度圖像中與掩膜覆蓋區(qū)域?qū)?yīng)位置的像素的幾何特征；

將對(duì)應(yīng)位置的像素的所述顏色特征和所述幾何特征進(jìn)行融合處理，得到所述像素的像素級(jí)特征。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于：所述稠密對(duì)應(yīng)映射模塊包括多層感知機(jī)；所述多層感知機(jī)用于將所述像素級(jí)特征映射到物體坐標(biāo)系，得到所述像素級(jí)特征對(duì)應(yīng)的三維坐標(biāo)。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于映射后的像素級(jí)特征得到像素對(duì)特征步驟，包括：

將所述像素級(jí)特征分為兩個(gè)子集，兩個(gè)所述子集互斥；

從兩個(gè)所述子集中選擇像素級(jí)特征進(jìn)行配對(duì)，并通過(guò)低秩雙線性池化得到像素對(duì)特征。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述姿態(tài)估計(jì)輸出模塊包括第一神經(jīng)網(wǎng)絡(luò)和級(jí)聯(lián)的多個(gè)相同的第二神經(jīng)網(wǎng)絡(luò)；

所述通過(guò)姿態(tài)估計(jì)輸出模塊對(duì)所述物體進(jìn)行姿態(tài)估計(jì)，得到姿態(tài)估計(jì)結(jié)果步驟，包括：

根據(jù)所述像素對(duì)特征，通過(guò)第一神經(jīng)網(wǎng)絡(luò)對(duì)所述物體進(jìn)行姿態(tài)估計(jì)，得到初始姿態(tài)估計(jì)結(jié)果；

將所述掩膜覆蓋區(qū)域的像素的顏色特征和所述初始姿態(tài)估計(jì)結(jié)果輸入到級(jí)聯(lián)的各個(gè)第二神經(jīng)網(wǎng)絡(luò)，得到姿態(tài)估計(jì)的各個(gè)改進(jìn)結(jié)果；

根據(jù)所述初始姿態(tài)估計(jì)結(jié)果和各個(gè)所述改進(jìn)結(jié)果，得到所述姿態(tài)估計(jì)結(jié)果。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述確定姿態(tài)估計(jì)過(guò)程中的第三損失值步驟，包括：

根據(jù)所述初始姿態(tài)估計(jì)結(jié)果和物體的真實(shí)姿態(tài)，確定第四損失值；

根據(jù)所述改進(jìn)結(jié)果和物體的真實(shí)姿態(tài)，確定第五損失值；

以所述第四損失值和第五損失值之和作為姿態(tài)估計(jì)過(guò)程中的所述第三損失值。