[發(fā)明專利]人體姿態(tài)估計方法、裝置、電子設(shè)備及可讀存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202011485374.9
• 申請日: 2020-12-16
• 公開（公告）號: CN112668413B
• 公開（公告）日: 2022-11-08
• 發(fā)明（設(shè)計）人: 路兆銘;王一鳴;郭凌超;溫向明;周爽
• 申請（專利權(quán)）人: 北京郵電大學(xué)
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/46;G06V10/82;G06N3/08
• 代理公司: 北京智信四方知識產(chǎn)權(quán)代理有限公司 11519
• 代理人: 葛啟宏;宋海龍

1.一種人體姿態(tài)估計方法，其特征在于，包括：

處理接收到的視頻數(shù)據(jù)，獲取人體姿態(tài)的真實關(guān)鍵點(diǎn)坐標(biāo)；

處理接收到的信道狀態(tài)信息，并將處理后的所述信道狀態(tài)信息輸入神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到人體姿態(tài)的預(yù)測關(guān)鍵點(diǎn)坐標(biāo)，包括：

利用同步的視頻數(shù)據(jù)分割預(yù)處理后的信道狀態(tài)信息，將一個視頻幀與基于采集速率得到的n個信道狀態(tài)信息的采樣樣本對應(yīng)；其中，n為自然數(shù)；

分別根據(jù)所述采樣樣本的振幅得到振幅圖像以及根據(jù)所述采樣樣本的相位信息得到相位圖像；其中，所述振幅圖像以及相位圖像的像素為M×T，M為載波數(shù)量，T為選擇的組合樣本數(shù)，T＝m+n，m是n個采樣樣本之前的m個采樣樣本；

將所述振幅圖像以及相位圖像輸入神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到人體姿態(tài)的預(yù)測關(guān)鍵點(diǎn)坐標(biāo)；

其中，所述信道狀態(tài)信息與視頻數(shù)據(jù)為在時間同步下采集到的數(shù)據(jù)，所述神經(jīng)網(wǎng)絡(luò)模型的損失函數(shù)由根據(jù)所述真實關(guān)鍵點(diǎn)坐標(biāo)與所述預(yù)測關(guān)鍵點(diǎn)坐標(biāo)計算得到。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括：

利用訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行人體姿態(tài)估計。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述處理接收到的視頻數(shù)據(jù)，獲取人體姿態(tài)的真實關(guān)鍵點(diǎn)坐標(biāo)，包括：

從視頻數(shù)據(jù)中依次提取人體的二維姿態(tài)、三維姿態(tài)，得到人體骨架關(guān)鍵點(diǎn)坐標(biāo)；

基于時間序列形成所述人體骨架關(guān)鍵點(diǎn)坐標(biāo)的關(guān)鍵點(diǎn)坐標(biāo)集合，作為人體姿態(tài)的真實關(guān)鍵點(diǎn)坐標(biāo)。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述預(yù)處理后的信道狀態(tài)信息的預(yù)處理方式包括：

確定不同天線接收到的信道狀態(tài)信息中靜態(tài)路徑成分與動態(tài)路徑成分的方差；

將方差最大的信道狀態(tài)信息去噪后作為預(yù)處理后的信道狀態(tài)信息。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于：

所述神經(jīng)網(wǎng)絡(luò)模型包括以下至少一種：CNN、LSTM。

6.一種人體姿態(tài)估計裝置，其特征在于，包括：

視頻圖像處理模塊，用于處理接收到的視頻數(shù)據(jù)，獲取人體姿態(tài)的真實關(guān)鍵點(diǎn)坐標(biāo)；

信道狀態(tài)信息處理模塊，用于處理接收到的信道狀態(tài)信息，并將處理后的所述信道狀態(tài)信息輸入神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到人體姿態(tài)的預(yù)測關(guān)鍵點(diǎn)坐標(biāo)，包括：

利用同步的視頻數(shù)據(jù)分割預(yù)處理后的信道狀態(tài)信息，將一個視頻幀與基于采集速率得到的n個信道狀態(tài)信息的采樣樣本對應(yīng)；其中，n為自然數(shù)；

分別根據(jù)所述采樣樣本的振幅得到振幅圖像以及根據(jù)所述采樣樣本的相位信息得到相位圖像；其中，所述振幅圖像以及相位圖像的像素為M×T，M為載波數(shù)量，T為選擇的組合樣本數(shù)，T＝m+n，m是n個采樣樣本之前的m個采樣樣本；

將所述振幅圖像以及相位圖像輸入神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到人體姿態(tài)的預(yù)測關(guān)鍵點(diǎn)坐標(biāo)；

其中，所述信道狀態(tài)信息與視頻數(shù)據(jù)為在同步時間下采集到的數(shù)據(jù)，所述神經(jīng)網(wǎng)絡(luò)模型的損失函數(shù)由根據(jù)所述真實關(guān)鍵點(diǎn)坐標(biāo)與所述預(yù)測關(guān)鍵點(diǎn)坐標(biāo)計算得到。

7.一種電子設(shè)備，其特征在于，包括存儲器和處理器；其中，所述存儲器用于存儲一條或多條計算機(jī)指令，其中，所述一條或多條計算機(jī)指令被所述處理器執(zhí)行以實現(xiàn)權(quán)利要求1-5任一項所述的方法步驟。

8.一種可讀存儲介質(zhì)，其上存儲有計算機(jī)指令，其特征在于，該計算機(jī)指令被處理器執(zhí)行時實現(xiàn)權(quán)利要求1-5任一項所述的方法步驟。