[發(fā)明專利]用于3D人體姿態(tài)估計的多視角特征融合方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202210460455.6
• 申請日: 2022-04-24
• 公開（公告）號: CN114758205A
• 公開（公告）日: 2022-07-15
• 發(fā)明（設(shè)計）人: 肖德貴;魏鈺麒;李健芳
• 申請（專利權(quán)）人: 湖南大學(xué)
• 主分類號: G06V10/80
• 分類號: G06V10/80;G06K9/62;G06V40/20;G06V20/64;G06V10/82;G06N3/08
• 代理公司: 長沙朕揚知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 43213
• 代理人: 何湘玲

1.一種用于3D人體姿態(tài)估計的多視角特征融合方法，其特征在于，包括以下步驟：

獲取需要姿態(tài)估計的不同視角的目標(biāo)圖像；

將目標(biāo)圖像經(jīng)過圖像預(yù)處理后，輸入到訓(xùn)練好的MVP-att姿態(tài)估計模型中，輸出3D人體姿態(tài)估計的結(jié)果；

所述MVP-att姿態(tài)估計模型通過以下步驟訓(xùn)練得到：

通過編碼器對多視角輸入的多個目標(biāo)圖像分別進(jìn)行采樣，提取得到多個單視圖的2D人體姿態(tài)表達(dá)的深度特征圖；

采用特征轉(zhuǎn)換模塊，將相機投影矩陣條件作用于每個深度特征圖的圖像坐標(biāo)，映射轉(zhuǎn)換為世界坐標(biāo)，實現(xiàn)多視圖的深度特征圖中的深度特征進(jìn)行標(biāo)準(zhǔn)化以及與相機姿態(tài)的解耦；

使用基于混合注意力機制的多視角特征融合機制模塊從解耦后的深度特征中自動選擇有效深度特征，按照視角融合成統(tǒng)一的3D人體姿態(tài)表征。

2.根據(jù)權(quán)利要求1所述的用于3D人體姿態(tài)估計的多視角特征融合方法，其特征在于，所述MVP-att姿態(tài)估計模型的訓(xùn)練步驟，還包括：

將3D人體姿態(tài)表征輸入到使用相機投影矩陣條件作用的特征轉(zhuǎn)換模塊，輸出特征融合后各個視角的深度特征；

將特征融合后各個視角的深度特征輸入到解碼器中獲得關(guān)節(jié)點二維熱圖；

使用可微直接線性變換方法將多視角的關(guān)節(jié)點二維熱圖映射到三維空間，生成表征人體關(guān)節(jié)點在三維空間位置的三維人體骨架。

3.根據(jù)權(quán)利要求1所述的用于3D人體姿態(tài)估計的多視角特征融合方法，其特征在于，所述自動選擇有效深度特征，包括以下步驟：

先通過混合注意力機制建模解耦后的深度特征之間的相關(guān)性，然后深度學(xué)習(xí)每個通道的深度特征的注意力得分，自動在不同視角的深度特征集合中選擇注意力得分符合要求的深度特征作為有效深度特征。

4.根據(jù)權(quán)利要求2所述的用于3D人體姿態(tài)估計的多視角特征融合方法，其特征在于，所述MVP-att姿態(tài)估計模型在訓(xùn)練過程中，通過最小化二維關(guān)節(jié)點的平均誤差來監(jiān)督模型的訓(xùn)練，損失函數(shù)如下：

其中，表示第k個視角的第j個關(guān)節(jié)的真實二維坐標(biāo)；是模型預(yù)測的第k個視角第j個關(guān)節(jié)的二維坐標(biāo)。

5.根據(jù)權(quán)利要求4所述的用于3D人體姿態(tài)估計的多視角特征融合方法，其特征在于，所述MVP-att姿態(tài)估計模型在訓(xùn)練過程中，再通過以下?lián)p失函數(shù)公式微調(diào)多視角3D人體姿態(tài)估計模型：

其中，L_3D-MPJPE是所有關(guān)節(jié)點的預(yù)測位置與地面真值位置的平均歐氏距離，其中是世界坐標(biāo)系下第j個關(guān)節(jié)點的真實三維坐標(biāo)，p_j為模型預(yù)測的第j個關(guān)節(jié)點的三維坐標(biāo)。

6.根據(jù)權(quán)利要求1至5中任一項所述的用于3D人體姿態(tài)估計的多視角特征融合方法，其特征在于，所述基于混合注意力機制的多視角特征融合機制模塊包括：級聯(lián)的通道注意力機制單元和單通道局部注意力機制單元；用于對不同特征通道的注意力加權(quán)計算、同一特征通道不同局部的注意力加權(quán)計算，并依據(jù)計算得到的權(quán)值，完成對應(yīng)的特征通道加權(quán)求和、同一特征通道局部加權(quán)求和，得到每個通道的深度特征的注意力得分。

7.根據(jù)權(quán)利要求6所述的用于3D人體姿態(tài)估計的多視角特征融合方法，其特征在于，

所述單通道局部注意力機制單元，包括：低維嵌入全連接層、ReLU非線性激活層、維度恢復(fù)全連接層三個子結(jié)構(gòu)，三者以級聯(lián)的方式連接；低維嵌入全連接層的神經(jīng)元數(shù)目小于或等于單通道局部注意力機制子模塊輸入的特征維度，維度恢復(fù)全連接層的神經(jīng)元數(shù)目等于單通道局部注意力機制子模塊輸入的特征維度。

8.一種計算機系統(tǒng)，包括存儲器、處理器以及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執(zhí)行所述計算機程序時實現(xiàn)上述權(quán)利要求1至7任一所述方法的步驟。