[發(fā)明專利]二維圖形中目標(biāo)三維關(guān)鍵點提取模型構(gòu)建及姿態(tài)識別方法

有效

• 申請?zhí)枺?/td>: 201910738138.4
• 申請日: 2019-08-12
• 公開（公告）號: CN110634160B
• 公開（公告）日: 2022-11-18
• 發(fā)明（設(shè)計）人: 彭進(jìn)業(yè);張少博;趙萬青;祝軒;李斌;張薇;樂明楠;李展;羅迒哉;王珺
• 申請（專利權(quán)）人: 西北大學(xué)
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06N3/04
• 代理公司: 西安恒泰知識產(chǎn)權(quán)代理事務(wù)所 61216
• 代理人: 李婷

本發(fā)明公開了一種二維圖形中目標(biāo)三維關(guān)鍵點提取模型構(gòu)建及姿態(tài)識別方法，通過設(shè)計了三維關(guān)鍵點提取模型的網(wǎng)絡(luò)結(jié)構(gòu)，能夠準(zhǔn)確、直接輸出目標(biāo)三維關(guān)鍵點的坐標(biāo)；通過設(shè)計的關(guān)鍵點損失函數(shù)，使網(wǎng)絡(luò)利用無監(jiān)督的方式自主學(xué)習(xí)提取具有語義一致性和幾何一致性的關(guān)鍵點，提高了三維關(guān)鍵點提取的準(zhǔn)確率。

技術(shù)領(lǐng)域

本發(fā)明涉及目標(biāo)三維姿態(tài)識別方法，具體涉及一種二維圖形中目 標(biāo)三維關(guān)鍵點提取模型構(gòu)建及姿態(tài)識別方法。

背景技術(shù)

目標(biāo)三維姿態(tài)識別是指識別目標(biāo)物體的三維位置和方向，是諸多 計算機(jī)視覺應(yīng)用如增強(qiáng)現(xiàn)實、機(jī)器人控制以及無人駕駛?cè)蝿?wù)中的關(guān)鍵 模塊。但是目標(biāo)三維姿態(tài)識別的基礎(chǔ)是需要對目標(biāo)物體的三維關(guān)鍵點 進(jìn)行提取，在圖像上找到物體的二維位置并且在物體上提取一些關(guān)鍵 點比如物體3D邊框在圖像上的投影，這些方法通過利用大量的監(jiān)督 信息所以十分有效，但是在圖像上標(biāo)注三維信息的工作量巨大，并且 要求極高的專業(yè)知識及復(fù)雜的準(zhǔn)備工作，而且這類方法無法處理帶有 遮擋和復(fù)雜背景圖像。

另外即使獲得了目標(biāo)的三維關(guān)鍵點后也無法準(zhǔn)確地識別到目標(biāo) 的三維姿態(tài)，因此現(xiàn)有技術(shù)中對二維圖像中目標(biāo)物體的三維姿態(tài)的獲 取方法存在姿態(tài)獲取準(zhǔn)確率不高，工作量大，導(dǎo)致的實時性不高且魯 棒性不高的問題。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種二維圖形中目標(biāo)三維關(guān)鍵點提取模 型構(gòu)建及姿態(tài)識別方法，用以解決現(xiàn)有技術(shù)中對二維圖像中目標(biāo)物體 的三維關(guān)鍵點識別方法準(zhǔn)確率不高，導(dǎo)致姿態(tài)識別準(zhǔn)確率不高等問 題。

為了實現(xiàn)上述任務(wù)，本發(fā)明采用以下技術(shù)方案：

一種二維圖形中目標(biāo)三維關(guān)鍵點提取模型構(gòu)建方法，按照以下步 驟執(zhí)行：

步驟1、獲取多個包含待識別目標(biāo)的二維圖像組，所述的二維圖 像組中包括的兩幅二維圖像的區(qū)別在于圖像采集角度不同；

獲得訓(xùn)練圖像集；

步驟2、將所述的訓(xùn)練圖像集輸入至神經(jīng)網(wǎng)絡(luò)中訓(xùn)練；

所述的神經(jīng)網(wǎng)絡(luò)包括特征提取子網(wǎng)絡(luò)，所述的特征提取子網(wǎng)絡(luò)分 別與關(guān)鍵點提取子網(wǎng)絡(luò)以及目標(biāo)檢測子網(wǎng)絡(luò)連接；

所述的特征提取子網(wǎng)絡(luò)包括依次設(shè)置的特征圖提取模塊以及感興 趣區(qū)域提取模塊；

所述的目標(biāo)檢測子網(wǎng)絡(luò)包括相互并聯(lián)的目標(biāo)分類模塊以及包圍盒 檢測模塊；

所述的關(guān)鍵點提取子網(wǎng)絡(luò)包括串聯(lián)的關(guān)鍵點概率獲得模塊以及關(guān) 鍵點輸出模塊；

所述的關(guān)鍵點概率獲得模塊用于獲得每一個像素點是三維關(guān)鍵點 的概率；

所述的關(guān)鍵點輸出模塊利用式I獲得每一個三維關(guān)鍵點的坐標(biāo)：

其中[x_i,y_i]表示第i個三維關(guān)鍵點的坐標(biāo)，i＝1,2,…,I，I為正整數(shù)， P_i(u,v)表示關(guān)鍵點概率計算子網(wǎng)絡(luò)輸出的二維圖像中第(u,v)個像素 點是第i個三維關(guān)鍵點的概率，(u,v)為二維圖像的坐標(biāo)，u與v均為 正整數(shù)；

獲得三維關(guān)鍵點提取模型。

進(jìn)一步地，所述的特征圖提取模塊包括依次設(shè)置的特征金字塔網(wǎng) 絡(luò)以及殘差網(wǎng)絡(luò)；所述的感興趣區(qū)域提取模塊包括區(qū)域生成網(wǎng)絡(luò)。

進(jìn)一步地，所述的關(guān)鍵點概率獲得模塊包括依次串聯(lián)的多個卷積 塊、上采樣層以及softmax層；

所述的卷積塊包括依次連接的卷積層和ReLU激活層。

進(jìn)一步地，所述的三維關(guān)鍵點提取模型的損失函數(shù)L為：