[發(fā)明專利]一種用于人體姿態(tài)的估計方法和系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202110165636.1
• 申請日: 2021-02-06
• 公開（公告）號: CN112884780A
• 公開（公告）日: 2021-06-01
• 發(fā)明（設(shè)計）人: 吳俊;吳則彪;陳延行;江文濤
• 申請（專利權(quán)）人: 羅普特科技集團股份有限公司;羅普特（廈門）系統(tǒng)集成有限公司
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06T7/73;G06K9/34;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廈門福貝知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 35235
• 代理人: 陳遠洋

本發(fā)明給出了一種用于人體姿態(tài)的估計方法和系統(tǒng)，包括將圖像輸入包括四層編碼層和四層解碼層結(jié)構(gòu)的編碼解碼器網(wǎng)絡(luò)中訓(xùn)練，輸出語義分割結(jié)果；利用能量函數(shù)將前兩個編碼層中獲得的像素語義概率圖轉(zhuǎn)換為邊緣激活像素圖，響應(yīng)于像素的激活值大于激活值閾值，該像素為邊緣像素；基于語義分割結(jié)果中的語義標(biāo)簽將屬于同一實例的像素聚集獲得實例分割結(jié)果，實例分割結(jié)果包括表示每個像素所屬實例的掩碼；利用全卷積網(wǎng)絡(luò)生成人體骨骼置信度圖，輸出每個實例中每個像素所屬骨骼部件標(biāo)簽，通過全連接網(wǎng)絡(luò)回歸關(guān)節(jié)點位置，在每個實例內(nèi)進行關(guān)節(jié)點的連接構(gòu)造出人體的骨架結(jié)構(gòu)獲取人體姿態(tài)信息。該方法和系統(tǒng)改善了人與人之間姿態(tài)估計中存在的交叉現(xiàn)象。

技術(shù)領(lǐng)域

本發(fā)明涉及計算機視覺的技術(shù)領(lǐng)域，尤其是一種用于人體姿態(tài)的估計方法和系統(tǒng)。

背景技術(shù)

人體姿態(tài)估計技術(shù)(Human Pose Estimation Technology)又稱人體姿態(tài)識別技術(shù)，旨在將圖像或視頻流中人體像素映射到肢體的三維曲面，可以連續(xù)、自動、快速提取圖像或視頻流中存在著的人體各個關(guān)節(jié)部位的位置信息，其中涉及了很多計算機視覺任務(wù)，如目標(biāo)檢測，姿態(tài)估計，分割，等等。在由該技術(shù)得到關(guān)節(jié)點位置信息的基礎(chǔ)上可以進行大量建模，其應(yīng)用場景不僅包括人體關(guān)節(jié)點定位，如圖形(Graphics)，增強顯示(AugmentedReality,AR)，人機交互(Human-Computer Interaction)，還包括3D目標(biāo)識別等很多方面。

人體姿態(tài)估計技術(shù)在行為識別、人機交互、游戲、動畫等領(lǐng)域有著很十分廣闊的應(yīng)用前景，例如游戲領(lǐng)域的體感類游戲；安全領(lǐng)域的可以應(yīng)用于家庭監(jiān)控,如對獨居家中老年人摔倒情況的識別，通過監(jiān)控識別出特殊的人體姿態(tài),以便及時作出響應(yīng)；教育領(lǐng)域的可以應(yīng)用于智慧課堂，如對教學(xué)活動中學(xué)生上課情況的識別，例如對課堂上舉手、上課睡覺等行為的感知。

然而，傳統(tǒng)的人體姿態(tài)估計技術(shù)對硬件較為依賴，例如基于Kinect的人體姿態(tài)估計已經(jīng)成功應(yīng)用于體感游戲領(lǐng)域并取得過成功，然而，這種技術(shù)對硬件要求很高，并有感知距離、感知精度上的局限性，不可避免地出現(xiàn)了硬件配置操作復(fù)雜、遠距離人像不敏感，受環(huán)境因素影響大等問題。

深度學(xué)習(xí)在計算機視覺領(lǐng)域的快速發(fā)展，使得人體姿態(tài)估計技術(shù)逐步擺脫對硬件的依賴，發(fā)展為利用深度學(xué)習(xí)的方式對圖像進行人體姿態(tài)估計。基于深度學(xué)習(xí)的方法擺脫了硬件束縛，依賴于輸入的圖像信息即可，并且這種方式實現(xiàn)了精度高、速度快、對人像敏感并受環(huán)境因素影響小等方面的突破。

目前，比較流行的人體姿態(tài)估計方法主要基于以下兩種思想。

一種是自頂向下的思想。這種思想是通過回歸出圖像中所有人體的邊框區(qū)域，再對每個方框中的人進行單人人體姿態(tài)估計以得到每個人的關(guān)節(jié)點位置信息，即先得到所有人的位置信息，再由每個人的位置信息得到關(guān)節(jié)點的位置信息；另一種是自底向上的思想。這種思想是先回歸出輸入圖像中所有人的每個部位的關(guān)節(jié)點位置，再對圖像中所有關(guān)節(jié)點進行逐步連接，進而得到每個人的人體骨架結(jié)構(gòu)。即先得到所有關(guān)節(jié)點的位置信息，再由關(guān)節(jié)點的位置信息得到人的位置信息。

基于自頂向下思想的人體姿態(tài)估計方法通過從圖像中預(yù)測出豐富的人體邊界框，然后通過非極大值抑制等操作得到最終的邊界框，再對每個方框中的人進行單人人體姿態(tài)估計以得到每個人的關(guān)節(jié)點位置信息。這不僅會導(dǎo)致計算量的增加，而且人體姿態(tài)估計結(jié)果依賴于邊界框回歸準(zhǔn)確率。而現(xiàn)有的基于自底向上思想的人體姿態(tài)估計方法，如OpenPose，其先進行人體各個關(guān)節(jié)點的檢測，再進行關(guān)節(jié)點的連接進而構(gòu)造出人體的骨架結(jié)構(gòu)，然而，這種方式在多人交互的場景下的容易出現(xiàn)關(guān)節(jié)點誤連接的情況。

也就是說，雖然自頂向下的方式能很好地改善關(guān)節(jié)點誤連接的情況，但由于它的運行速度與人數(shù)成正比導(dǎo)致復(fù)雜場景下不適用。而自底向上的方式很好地改善了上述問題，但卻容易出現(xiàn)關(guān)節(jié)點誤連接的情況。

發(fā)明內(nèi)容