[發明專利]端到端多視角三維人體姿態估計方法、系統及存儲介質

有效

• 申請號: 202011548666.2
• 申請日: 2020-12-24
• 公開（公告）號: CN112560757B
• 公開（公告）日: 2022-08-09
• 發明（設計）人: 薛健;牛澤海;呂科
• 申請（專利權）人: 中國科學院大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/80;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京紀凱知識產權代理有限公司 11245
• 代理人: 孫楠

1.一種端到端多視角三維人體姿態估計方法，其特征在于，包括：

步驟1、加載預訓練后的二維人體姿態估計網絡，同時將當前每個視角的圖片作為該網絡的輸入；

步驟2、通過二維人體姿態估計網絡生成熱力圖b_t(p)，將其作為LSTM熱力圖時序信息提取網絡的輸入；

步驟3、根據時間序列步長T的取值將熱力圖b_t(p)輸入至LSTM初始化熱力圖時序信息提取網絡及LSTM熱力圖時序信息提取網絡，得到細胞態及隱藏態；

步驟4、將得到的隱藏態饋送到解碼器網絡g(·)中，得到解碼后的熱力圖d_t(p)；

步驟5、將熱力圖b_t(p)與解碼后的熱力圖d_t(p)進行融合，得到融合了時間與空間信息的熱力圖H_t(p)；

步驟6、將熱力圖H_t(p)送入soft-argmax線性代數三角化網絡中得到2D點位置；

步驟7、求解齊次三維坐標向量上的超定方程采用可微分的DLT-SII算法，得到最終的三維人體姿態估計點；

所述步驟3中，時間序列步長T＝1時，由上一個階段得到的熱力圖將被送入LSTM初始化網絡中得到相應的初始細胞態及初始隱藏態；在時間序列步長T1時，將上一個階段的細胞態、隱藏態及當前階段的熱力圖輸入LSTM網絡中，得到了當前階段的細胞態、隱藏態，將當前階段的隱藏態及細胞態以變量的形式進行保存作為下一個階段的輸入。

2.如權利要求1所述估計方法，其特征在于，所述步驟1中，二維人體姿態估計網絡為Resnet-152網絡。

3.如權利要求1所述估計方法，其特征在于，所述步驟2中，設是輸入網絡的多視角圖片，V代表視角的個數，視頻有t幀，即t∈{1,2,....,T}，其中T為設置的時間序列步長，F(·)是二維熱力圖提取網絡Resnet，為t時刻所有視角下P個關節點的熱力圖b_t(p)：

b_t(p)＝F(X_t)；

式中，W和H分別代表每一幀圖像的寬和高。

4.如權利要求1所述估計方法，其特征在于，所述步驟4中，解碼器網絡g(·)由五個卷積層構成，分別以三個卷積核大小3，輸出通道數為128的卷積、一個卷積核大小為1，通道數為128的卷積及一個卷積核大小為1，通道數以人體關鍵點數量為通道數量的卷積構成：

d_t(p)＝g(h_t),

得到解碼后的熱力圖W和H分別代表每一幀圖像的寬和高，V代表視角的個數，P代表關節點個數。

5.如權利要求1所述估計方法，其特征在于，所述步驟5中，將熱力圖b_t(p)與解碼后的熱力圖d_t(p)進行加權平均，得到熱力圖H_t(p)：

6.如權利要求1所述估計方法，其特征在于，所述步驟7中，最終的三維人體姿態估計點的求解方法包括：

步驟7.1、計算跨空間軸的softmax：

式中，H_t'(p)表示歸一化后的熱力圖；r_x、r_y、r、W分別表示x軸的像素索引、y軸的像素索引、單個像素、圖像的寬；

步驟7.2、計算二維熱力圖的質心，將其作為關節點的位置，

步驟7.3、采用線性代數三角化方法，將尋找三維點簡化為求解一個超定系統在齊次三維坐標向量上的方程：

其中是由投影矩陣及二維關節點x_t(p)構成的矩陣；V代表視角的個數；

步驟7.4、求解方程求解得到的三維人體姿態坐標點由非齊次坐標點轉換為歐拉坐標點獲得。