[發(fā)明專利]人體姿態(tài)估計(jì)方法、裝置、電子設(shè)備及可讀存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202011485374.9
• 申請(qǐng)日: 2020-12-16
• 公開（公告）號(hào): CN112668413B
• 公開（公告）日: 2022-11-08
• 發(fā)明（設(shè)計(jì)）人: 路兆銘;王一鳴;郭凌超;溫向明;周爽
• 申請(qǐng)（專利權(quán)）人: 北京郵電大學(xué)
• 主分類號(hào): G06V40/20
• 分類號(hào): G06V40/20;G06V10/46;G06V10/82;G06N3/08
• 代理公司: 北京智信四方知識(shí)產(chǎn)權(quán)代理有限公司 11519
• 代理人: 葛啟宏;宋海龍

本公開實(shí)施例公開了一種人體姿態(tài)估計(jì)方法、裝置、電子設(shè)備及可讀存儲(chǔ)介質(zhì)，所述人體姿態(tài)估計(jì)方法包括：處理接收到的視頻數(shù)據(jù)，獲取人體姿態(tài)的真實(shí)關(guān)鍵點(diǎn)坐標(biāo)；處理接收到的信道狀態(tài)信息，并將處理后的所述信道狀態(tài)信息輸入神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到人體姿態(tài)的預(yù)測(cè)關(guān)鍵點(diǎn)坐標(biāo)；其中，所述信道狀態(tài)信息與視頻數(shù)據(jù)為在時(shí)間同步下采集到的數(shù)據(jù)，所述神經(jīng)網(wǎng)絡(luò)模型的損失函數(shù)由根據(jù)所述真實(shí)關(guān)鍵點(diǎn)坐標(biāo)與所述預(yù)測(cè)關(guān)鍵點(diǎn)坐標(biāo)計(jì)算得到。

技術(shù)領(lǐng)域

本公開涉及通信和計(jì)算機(jī)技術(shù)領(lǐng)域，具體涉及一種人體姿態(tài)估計(jì)方法、裝置、電子設(shè)備及可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

隨著Wi-Fi架構(gòu)和軟件工具的提升，可以很方便的利用普通的商用Wi-Fi設(shè)備獲取信道狀態(tài)信息(Channel State Information，CSI)，捕捉和處理人體在空間中的自由活動(dòng)所引起的反射的Wi-Fi信號(hào)的幅度和相位變化，建立無(wú)線信號(hào)與目標(biāo)姿態(tài)之間的映射關(guān)系，從而準(zhǔn)確有效的對(duì)空間中的人類活動(dòng)進(jìn)行感知。

現(xiàn)有技術(shù)中，基于無(wú)線感知的人體姿態(tài)估計(jì)方法可以估計(jì)出二維或三維的人體姿態(tài)，但是它們都在某些方面存在著缺陷。二維的姿態(tài)估計(jì)方法只能返回固定視角的姿態(tài)信息，包含的信息量不充足，并且沒(méi)辦法估計(jì)某些特殊姿勢(shì)(例如某些肢體在視角方向被遮擋)。三維的姿態(tài)估計(jì)方法往往要求人在一個(gè)定點(diǎn)上做動(dòng)作，導(dǎo)致其應(yīng)用場(chǎng)景受到了很大限制。

發(fā)明內(nèi)容

為了至少部分解決相關(guān)技術(shù)問(wèn)題，本公開實(shí)施例提供一種人體姿態(tài)估計(jì)方法和裝置。

第一方面，本公開實(shí)施例中提供了一種人體姿態(tài)估計(jì)方法。

具體地，所述人體姿態(tài)估計(jì)方法，包括：

處理接收到的視頻數(shù)據(jù)，獲取人體姿態(tài)的真實(shí)關(guān)鍵點(diǎn)坐標(biāo)；

處理接收到的信道狀態(tài)信息，并將處理后的所述信道狀態(tài)信息輸入神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到人體姿態(tài)的預(yù)測(cè)關(guān)鍵點(diǎn)坐標(biāo)；

其中，所述信道狀態(tài)信息與視頻數(shù)據(jù)為在時(shí)間同步下采集到的數(shù)據(jù)，所述神經(jīng)網(wǎng)絡(luò)模型的損失函數(shù)由根據(jù)所述真實(shí)關(guān)鍵點(diǎn)坐標(biāo)與所述預(yù)測(cè)關(guān)鍵點(diǎn)坐標(biāo)計(jì)算得到。

結(jié)合第一方面，本公開在第一方面的第一種實(shí)現(xiàn)方式中，所述方法還包括：利用訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行人體姿態(tài)估計(jì)。

結(jié)合第一方面，本公開在第一方面的第二種實(shí)現(xiàn)方式中，所述處理接收到的視頻數(shù)據(jù)，獲取人體姿態(tài)的真實(shí)關(guān)鍵點(diǎn)坐標(biāo)，包括：

從視頻數(shù)據(jù)中依次提取人體的二維姿態(tài)、三維姿態(tài)，得到人體骨架關(guān)鍵點(diǎn)坐標(biāo)；

基于時(shí)間序列形成所述人體骨架關(guān)鍵點(diǎn)坐標(biāo)的關(guān)鍵點(diǎn)坐標(biāo)集合，作為人體姿態(tài)的真實(shí)關(guān)鍵點(diǎn)坐標(biāo)。

結(jié)合第一方面，本公開在第一方面的第三種實(shí)現(xiàn)方式中，所述處理接收到的信道狀態(tài)信息，并將處理后的信息輸入神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到人體姿態(tài)的預(yù)測(cè)關(guān)鍵點(diǎn)坐標(biāo)，包括：

利用同步的視頻數(shù)據(jù)分割預(yù)處理后的信道狀態(tài)信息，將一個(gè)視頻幀與基于采集速率得到的n個(gè)信道狀態(tài)信息的采樣樣本對(duì)應(yīng)；其中，n為自然數(shù)；

分別根據(jù)所述采樣樣本的振幅得到振幅圖像以及根據(jù)所述采樣樣本的相位信息得到相位圖像；其中，所述振幅圖像以及相位圖像的像素為M×T，M為載波數(shù)量，T為選擇的采樣樣本數(shù)，T≥n；

將所述振幅圖像以及相位圖像輸入神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到人體姿態(tài)的預(yù)測(cè)關(guān)鍵點(diǎn)坐標(biāo)。

結(jié)合第一方面的第三種實(shí)現(xiàn)方式，本公開在第一方面的第四種實(shí)現(xiàn)方式中，所述預(yù)處理后的信道狀態(tài)信息的預(yù)處理方式包括：

確定不同天線接收到的信道狀態(tài)信息中靜態(tài)路徑成分與動(dòng)態(tài)路徑成分的方差；

將方差最大的信道狀態(tài)信息去噪后作為預(yù)處理后的信道狀態(tài)信息。