[發(fā)明專利]一種人體姿態(tài)識(shí)別的方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202011244567.5
• 申請(qǐng)日: 2020-11-10
• 公開（公告）號(hào): CN112287865A
• 公開（公告）日: 2021-01-29
• 發(fā)明（設(shè)計(jì)）人: 丁澤震;王琦
• 申請(qǐng)（專利權(quán)）人: 上海依圖網(wǎng)絡(luò)科技有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62
• 代理公司: 北京同達(dá)信恒知識(shí)產(chǎn)權(quán)代理有限公司 11291
• 代理人: 朱佳

1.一種人體姿態(tài)識(shí)別的方法，其特征在于，包括：

對(duì)待檢測(cè)圖像進(jìn)行人體檢測(cè)，識(shí)別出所述待檢測(cè)圖像中的人體關(guān)鍵點(diǎn)，并確定各個(gè)人體關(guān)鍵點(diǎn)的二維坐標(biāo)；

將獲得的各個(gè)二維坐標(biāo)分別轉(zhuǎn)換為世界坐標(biāo)系下的三維坐標(biāo)，以及將獲得的各個(gè)世界坐標(biāo)系下的三維坐標(biāo)分別轉(zhuǎn)換為人體坐標(biāo)系的三維坐標(biāo)；

基于各個(gè)人體關(guān)鍵點(diǎn)的人體坐標(biāo)系的三維坐標(biāo)，提取出待檢測(cè)圖像中的人體特征，所述人體特征至少包括：上肢結(jié)構(gòu)化特征，下肢結(jié)構(gòu)化特征和軀干結(jié)構(gòu)化特征；

將獲得的各個(gè)人體特征與預(yù)設(shè)的圖像樣本進(jìn)行匹配，輸出人體姿態(tài)識(shí)別結(jié)果。

2.如權(quán)利要求1所述的方法，其特征在于，對(duì)待檢測(cè)圖像進(jìn)行人體檢測(cè)，包括：

將所述待檢測(cè)圖像劃分為若干待檢測(cè)區(qū)域；

對(duì)所述每一個(gè)待檢測(cè)區(qū)域進(jìn)行人體檢測(cè)，判斷所述各個(gè)待檢測(cè)區(qū)域內(nèi)是否存在所述人體部分，將存在所述人體部分的區(qū)域記為人體區(qū)域；

將由所述各個(gè)人體區(qū)域構(gòu)成的總區(qū)域，作為人體檢測(cè)的輸出結(jié)果。

3.如權(quán)利要求1所述的方法，其特征在于，將獲得的各個(gè)二維坐標(biāo)分別轉(zhuǎn)換為世界坐標(biāo)系下的三維坐標(biāo)，包括：

將獲得的各個(gè)二維坐標(biāo)對(duì)應(yīng)的二維關(guān)鍵點(diǎn)轉(zhuǎn)換為相應(yīng)的熱力圖，其中，一個(gè)二維關(guān)鍵點(diǎn)表示為在所述熱力圖中一預(yù)設(shè)區(qū)域內(nèi)的高斯核；

將所述待檢測(cè)圖像中人體區(qū)域，按照預(yù)設(shè)的大小進(jìn)行截取，獲得截取圖像；

將所述熱力圖和所述截取圖像輸入特征提取網(wǎng)絡(luò)，獲得輸出的特征信息，其中，所述特征提取網(wǎng)絡(luò)用于基于所述熱力圖從所述截取圖像中提取特征信息；

將提取的特征信息輸入坐標(biāo)回歸網(wǎng)絡(luò)，獲得輸出的各個(gè)二維坐標(biāo)對(duì)應(yīng)的世界坐標(biāo)系的三維坐標(biāo)，其中，所述坐標(biāo)回歸網(wǎng)絡(luò)用于基于輸入的特征信息將二維坐標(biāo)轉(zhuǎn)換為世界坐標(biāo)系下的三維坐標(biāo)。

4.如權(quán)利要求1或3所述的方法，其特征在于，將獲得的各個(gè)世界坐標(biāo)系下的三維坐標(biāo)分別轉(zhuǎn)換為人體坐標(biāo)系的三維坐標(biāo)，包括：

在獲得的各個(gè)世界坐標(biāo)系下的三維坐標(biāo)中，選取參考三維坐標(biāo)集合；

基于所述參考三維坐標(biāo)集合包含的各個(gè)參考三維坐標(biāo)，確定人體坐標(biāo)系的第一中心點(diǎn)；

基于所述參考三維坐標(biāo)集合包含的各個(gè)參考三維坐標(biāo)，確定指定的第一參考三維坐標(biāo)和第二參考三維坐標(biāo)之間的第二中心點(diǎn)，以及確定指定的第三參考三維坐標(biāo)和第四參考三維坐標(biāo)之間的第三中心點(diǎn)；

針對(duì)各個(gè)世界坐標(biāo)系下的三維坐標(biāo)，執(zhí)行以下操作：計(jì)算一個(gè)世界坐標(biāo)系下的三維坐標(biāo)與所述第一中心點(diǎn)的差，將所述差除以所述第二中心點(diǎn)與所述第三中心點(diǎn)之間的連線，獲得所述一個(gè)世界坐標(biāo)系下的三維坐標(biāo)在人體坐標(biāo)系下的三維坐標(biāo)。

5.如權(quán)利要求1所述的方法，其特征在于，所述人體特征至少包括：上肢結(jié)構(gòu)化特征，下肢結(jié)構(gòu)化特征和軀干結(jié)構(gòu)化特征，包括：

所述上肢結(jié)構(gòu)化特征至少包括以下特征中的任意一種或組合：

手腕相對(duì)身體高度；

手臂彎曲角度；

手臂朝向；

所述下肢結(jié)構(gòu)化特征至少包括以下特征中的任意一種或組合：

腿彎曲角度；

腿朝向；

所述軀干結(jié)構(gòu)化特征至少包括以下特征中的任意一種或組合：

軀干朝向；

軀干彎曲角度。

6.一種人體姿態(tài)識(shí)別的裝置，其特征在于，包括：

第一處理單元，用于對(duì)待檢測(cè)圖像進(jìn)行人體檢測(cè)，識(shí)別出所述待檢測(cè)圖像中的人體關(guān)鍵點(diǎn)，并確定各個(gè)人體關(guān)鍵點(diǎn)的二維坐標(biāo)；

第二處理單元，將獲得的各個(gè)二維坐標(biāo)分別轉(zhuǎn)換為世界坐標(biāo)系下的三維坐標(biāo)，以及將獲得的各個(gè)世界坐標(biāo)系下的三維坐標(biāo)分別轉(zhuǎn)換為人體坐標(biāo)系的三維坐標(biāo)；

第三處理單元，基于各個(gè)人體關(guān)鍵點(diǎn)的人體坐標(biāo)系的三維坐標(biāo)，提取出待檢測(cè)圖像中的人體特征，所述人體特征至少包括：上肢結(jié)構(gòu)化特征，下肢結(jié)構(gòu)化特征和軀干結(jié)構(gòu)化特征；

輸出單元，將獲得的各個(gè)人體特征與預(yù)設(shè)的圖像樣本進(jìn)行匹配，輸出人體姿態(tài)識(shí)別結(jié)果。