[發(fā)明專利]基于視覺感知的人體四肢角度檢測方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202211335973.1
• 申請日: 2022-10-28
• 公開（公告）號: CN115690842A
• 公開（公告）日: 2023-02-03
• 發(fā)明（設(shè)計(jì)）人: 王琳;李宜兵;蔣鑫龍;馮理釗;王成成
• 申請（專利權(quán)）人: 中科樂聽智能技術(shù)（濟(jì)南）有限公司
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V40/20;G06F3/01;G06V10/82
• 代理公司: 濟(jì)南圣達(dá)知識產(chǎn)權(quán)代理有限公司 37221
• 代理人: 李琳

1.基于視覺感知的人體四肢角度檢測方法，其特征在于，包括：

獲取人體的圖像信息；

依據(jù)獲取的圖像信息，以及預(yù)設(shè)的姿態(tài)檢測模型，得到肢體特征點(diǎn)；采用自低向頂?shù)臋z測方式，檢測各個(gè)關(guān)鍵點(diǎn)然后拼接為人體整體關(guān)鍵點(diǎn)，同時(shí)通過關(guān)鍵點(diǎn)回歸的范圍進(jìn)行加權(quán)，只得到最靠近中心的人體關(guān)鍵點(diǎn)；

根據(jù)得到的肢體特征點(diǎn)，在考慮關(guān)鍵點(diǎn)的置信度情況下，計(jì)算得到上臂抬起的歐拉角度、腿抬起的歐拉角度，以及手相對于身體中心的偏移歐拉角度，同時(shí)計(jì)算人體相對于圖像一側(cè)的相對位置。

2.如權(quán)利要求1所述的基于視覺感知的人體四肢角度檢測方法，其特征在于，通過圖像采集設(shè)備獲取圖像信息，在C++層面直接加載接入所述圖像采集設(shè)備。

3.如權(quán)利要求1所述的基于視覺感知的人體四肢角度檢測方法，其特征在于，獲取圖像的最大邊尺寸，將最大邊歸一化到預(yù)設(shè)值像素點(diǎn)；根據(jù)歸一化比例，計(jì)算歸一化后圖像的寬度和高度；根據(jù)計(jì)算的尺寸，對圖像短邊進(jìn)行填充。

4.如權(quán)利要求3所述的基于視覺感知的人體四肢角度檢測方法，其特征在于，輸入神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)按照均值方差進(jìn)行歸一化，將圖像像素值減均值然后除方差；提取中心熱力圖特征、關(guān)鍵點(diǎn)回歸坐標(biāo)、關(guān)鍵點(diǎn)熱力圖特征和偏移量回歸坐標(biāo)；中心熱力圖乘以一個(gè)位置權(quán)重矩陣，求出最大值點(diǎn)的坐標(biāo)作為中心點(diǎn)；

從關(guān)鍵點(diǎn)回歸坐標(biāo)的多個(gè)通道對應(yīng)坐標(biāo)位置取出多個(gè)值，然后加上中心點(diǎn)坐標(biāo)，得到粗略的關(guān)鍵點(diǎn)位置；對于每一個(gè)粗略的關(guān)鍵點(diǎn)坐標(biāo)，再生成一個(gè)以粗略的關(guān)鍵點(diǎn)坐標(biāo)為中心的權(quán)重矩陣，構(gòu)造好一個(gè)粗略關(guān)鍵點(diǎn)坐標(biāo)最小、周邊遞增的權(quán)重矩陣后，再加上一個(gè)常數(shù)，然后把熱力圖回歸結(jié)果除以權(quán)重矩陣，得到精細(xì)化的關(guān)鍵點(diǎn)坐標(biāo)。

5.如權(quán)利要求1所述的基于視覺感知的人體四肢角度檢測方法，其特征在于，當(dāng)滿足肩關(guān)節(jié)置信度與肘關(guān)節(jié)置信度的和小于第一預(yù)設(shè)值時(shí)，上臂抬起的歐拉角度為0；否則：

當(dāng)肩關(guān)節(jié)置所在縱坐標(biāo)位置高于或等于肘關(guān)節(jié)所在縱坐標(biāo)位置時(shí)，計(jì)算肩關(guān)節(jié)與肘關(guān)節(jié)在橫坐標(biāo)上位置差和肩關(guān)節(jié)與肘關(guān)節(jié)在縱坐標(biāo)上位置差的比值，對比值求反正切得到上臂抬起的歐拉角度；否則，計(jì)算肩關(guān)節(jié)與肘關(guān)節(jié)在橫坐標(biāo)上位置差和肩關(guān)節(jié)與肘關(guān)節(jié)在縱坐標(biāo)上位置差的比值，對比值求反正切后再加上90度得到上臂抬起的歐拉角度。

6.如權(quán)利要求1所述的基于視覺感知的人體四肢角度檢測方法，其特征在于，當(dāng)滿足胯關(guān)節(jié)置信度與膝關(guān)節(jié)置信度的和小于第二預(yù)設(shè)值時(shí)，腿抬起的歐拉角度為0；否則：

當(dāng)胯關(guān)節(jié)置所在縱坐標(biāo)位置高于或等于膝關(guān)節(jié)所在縱坐標(biāo)位置時(shí)，計(jì)算胯關(guān)節(jié)與膝關(guān)節(jié)在橫坐標(biāo)上位置差和胯關(guān)節(jié)與膝關(guān)節(jié)在縱坐標(biāo)上位置差的比值，對比值求反正切得到腿抬起的歐拉角度；否則，計(jì)算胯關(guān)節(jié)與膝關(guān)節(jié)在橫坐標(biāo)上位置差和胯關(guān)節(jié)與膝關(guān)節(jié)在縱坐標(biāo)上位置差的比值，對比值求反正切后再加上90度得到腿抬起的歐拉角度。

7.如權(quán)利要求1所述的基于視覺感知的人體四肢角度檢測方法，其特征在于，當(dāng)滿足兩個(gè)腕關(guān)節(jié)置信度的和小于第三預(yù)設(shè)值時(shí)，手相對于身體中心的偏移歐拉角度為0，否則：

當(dāng)雙手腕中心點(diǎn)橫坐標(biāo)小于雙肩中心點(diǎn)橫坐標(biāo)時(shí)，計(jì)算雙手腕中心點(diǎn)與雙肩中心點(diǎn)在橫坐標(biāo)上位置差和雙手腕中心點(diǎn)與雙肩中心點(diǎn)在縱坐標(biāo)上位置差的比值，對比值求反正切后的負(fù)值為雙手相對于身體中心的偏移歐拉角度；否則，計(jì)算雙手腕中心點(diǎn)與雙肩中心點(diǎn)在橫坐標(biāo)上位置差和雙手腕中心點(diǎn)與雙肩中心點(diǎn)在縱坐標(biāo)上位置差的比值，對比值求反正切得到雙手相對于身體中心的偏移歐拉角度；

人體相對于圖像一側(cè)的相對位置等于雙肩中心點(diǎn)橫坐標(biāo)和圖像寬度的比值。