[發明專利]二維圖形中目標三維關鍵點提取模型構建及姿態識別方法

有效

• 申請號: 201910738138.4
• 申請日: 2019-08-12
• 公開（公告）號: CN110634160B
• 公開（公告）日: 2022-11-18
• 發明（設計）人: 彭進業;張少博;趙萬青;祝軒;李斌;張薇;樂明楠;李展;羅迒哉;王珺
• 申請（專利權）人: 西北大學
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06N3/04
• 代理公司: 西安恒泰知識產權代理事務所 61216
• 代理人: 李婷

1.一種二維圖形中目標三維關鍵點提取模型構建方法，其特征在于，按照以下步驟執行：

步驟1、獲取多個包含待識別目標的二維圖像組，所述的二維圖像組中包括的兩幅二維圖像的區別在于圖像采集角度不同；

獲得訓練圖像集；

步驟2、將所述的訓練圖像集輸入至神經網絡中訓練；

所述的神經網絡包括特征提取子網絡，所述的特征提取子網絡分別與關鍵點提取子網絡以及目標檢測子網絡連接；

所述的特征提取子網絡包括依次設置的特征圖提取模塊以及感興趣區域提取模塊；

所述的目標檢測子網絡包括相互并聯的目標分類模塊以及包圍盒檢測模塊；

所述的關鍵點提取子網絡包括串聯的關鍵點概率獲得模塊以及關鍵點輸出模塊；

所述的關鍵點概率獲得模塊用于獲得每一個像素點是三維關鍵點的概率；

所述的關鍵點輸出模塊利用式I獲得每一個三維關鍵點的坐標：

其中[x_i,y_i]表示第i個三維關鍵點的坐標，i＝1,2,…,I，I為正整數，P_i(u,v)表示關鍵點概率計算子網絡輸出的二維圖像中第(u,v)個像素點是第i個三維關鍵點的概率，(u,v)為二維圖像的坐標，u與v均為正整數；

獲得三維關鍵點提取模型。

2.如權利要求1所述的二維圖形中目標三維關鍵點提取模型構建方法，其特征在于，所述的特征圖提取模塊包括依次設置的特征金字塔網絡以及殘差網絡；所述的感興趣區域提取模塊包括區域生成網絡。

3.如權利要求1所述的二維圖形中目標三維關鍵點提取模型構建方法，其特征在于，所述的關鍵點概率獲得模塊包括依次串聯的多個卷積塊、上采樣層以及softmax層；

所述的卷積塊包括依次連接的卷積層和ReLU激活層。

4.如權利要求1所述的二維圖形中目標三維關鍵點提取模型構建方法，其特征在于，所述的三維關鍵點提取模型的損失函數L為：

其中，表示所有負樣本的分類損失函數之和，表示所有正樣本的目標分類損失函數L_class、包圍盒檢測損失函數L_box以及關鍵點檢測損失函數L_keypoints之和，β、γ均大于0；

所述的負樣本為感興趣區域提取模塊提取出的感興趣區域不包含目標的二維圖像；所述的正樣本為感興趣區域提取模塊提取出的感興趣區域包含目標的二維圖像；

其中關鍵點檢測損失函數其中L_dis為顯著性損失函數，L_dep為深度預測損失函數，L_con為三維一致性損失函數，L_sep為分離損失函數，L_pose為相對姿態估計損失函數，τ、ε、μ、均大于0。

5.如權利要求4所述的二維圖形中目標三維關鍵點提取模型構建方法，其特征在于，所述的β，γ，τ，ε，μ，均為1，δ為0.08。

6.一種二維圖形中目標三維關鍵點提取方法，其特征在于，按照以下步驟執行：

步驟A、采集包含待識別目標的二維圖像，獲得待識別圖像；

步驟B、將所述的待識別圖像輸入至權利要求1-5任一項權利要求所述的二維圖形中目標三維關鍵點提取模型構建方法構建出的三維關鍵點提取模型中，獲得待識別目標的三維關鍵點集，所述的三維關鍵點集中包括Q個三維關鍵點，Q為正整數。

7.一種二維圖形中目標三維姿態識別方法，用于獲得二維圖像中目標的三維姿態矩陣，其特征在于，按照以下步驟執行：

步驟I、獲取包含待識別目標的二維圖像，獲得待識別圖像；

步驟II、采用權利要求6所述的二維圖形中目標三維關鍵點提取方法獲得待識別圖像中待識別目標的三維關鍵點集；

步驟III、計算待識別圖像中待識別目標的三維關鍵點集與參考圖像庫中每個圖像的三維關鍵點集之間的距離；

所述的參考圖像庫包括多幅參考圖像以及每幅參考圖像的信息，每幅參考圖像的信息包括對每幅參考圖像采用權利要求6所述的二維圖形中目標三維關鍵點提取方法獲得每幅參考圖像的三維關鍵點集以及每幅參考圖像中目標的三維姿態矩陣；

將距離最小的三維關鍵點集對應的圖像作為對比圖像，獲得對比圖像的三維關鍵點集以及對比圖像中目標的三維姿態矩陣；

步驟IV、將待識別目標的三維關鍵點集中每個三維關鍵點坐標減去待識別目標的三維關鍵點集質心的坐標后，獲得新的待識別目標的三維關鍵點集；

將對比圖像的三維關鍵點集中每個三維關鍵點坐標減去對比圖像的三維關鍵點集質心的坐標后，獲得新的對比圖像的三維關鍵點集；

步驟V、利用奇異值分解法對進行分解，獲得旋轉矩陣R；

其中，X'_n為新的待識別目標的三維關鍵點集中第n個點的坐標，P'_n為新的對比圖像的三維關鍵點集中第n個點的坐標，N_P為新的待識別目標的三維關鍵點集或新的對比圖像的三維關鍵點集中三維關鍵點的總數；

步驟VI、獲得姿態矩陣T＝[R|t]，其中t＝μ_X-Rμ_P，μ_X為新的待識別目標的三維關鍵點集的平均坐標，μ_P新的對比圖像的三維關鍵點集的平均坐標；

步驟VII、采用式III獲得待識別圖像中待識別目標的三維姿態矩陣T_input：

T_input＝T·T_ref 式III

其中T_ref為對比圖像中目標的三維姿態矩陣。