[發明專利]基于多尺度融合的遮擋人體姿勢識別方法

在審

• 申請號: 202011225198.5
• 申請日: 2020-11-05
• 公開（公告）號: CN112651294A
• 公開（公告）日: 2021-04-13
• 發明（設計）人: 衛志華;范佳琪;王瀚漓;趙才榮;沈雯
• 申請（專利權）人: 同濟大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 上海科律專利代理事務所(特殊普通合伙) 31290
• 代理人: 葉鳳

1.一種基于多尺度融合的遮擋人體姿勢識別方法，其特征在于，包括步驟

步驟一：基于懲罰機制的人體檢測框回歸

對視頻中人體目標進行檢測，通過懲罰機制得到每個目標的檢測框；

步驟二：基于級聯金字塔網絡的多尺度特征融合

基于人體檢測框識別結果，在金字塔級聯網絡中加入多個尺度的特征；

步驟三：保持高分辨率的人體關鍵點識別

融合高分辨率來實現人體的關鍵點識別，并顯式處理困難節點。

2.如權利要求1所述的基于多尺度融合的遮擋人體姿勢識別方法，其特征在于，

步驟一：基于懲罰機制的人體檢測框回歸

1.1使用深度學習方法對COCO圖像集進行訓練，利用特征金字塔網絡(FeaturePyramid Network)得到初步的預測檢測框；

1.2基于初步預測結果，結合損失函數的不同懲罰排斥項，利用基于懲罰機制的檢測框回歸算法對視頻中人體目標進行檢測；

設置損失函數如下：

Loss＝L₀+αL₁+βL₂ (1)

其中，L₀為最終的檢測框與真實框之間的損失值，即傳統意義上的Loss，作用是吸引項，使預測框靠近其指定目標；

L₁為檢測框與相鄰的真實框之間的損失值，這里指的是其他人體真實檢測框，作用是排斥項，使預測框遠離其他人體檢測框；

L₂為檢測框與相鄰的預測其他目標的真實框之間的損失值，這里指的是其他物體的真實檢測框，作用是排斥項，使預測框遠離其他物體檢測框；

α和β分別是兩個損失值的平衡系數，目前都取值為0.5；構造的時候沿用了Faster R-CNN提出的smooth_L1_Loss；

通過調整損失函數，得到人體檢測框的預測結果。

3.如權利要求1所述的基于多尺度融合的遮擋人體姿勢識別方法，其特征在于，

針對步驟二，所述基于級聯金字塔網絡為一種基于多尺度特征融合的級聯金字塔網絡模型，這是一種自頂向下的視頻人體姿勢識別模型，將全局網絡和精煉網絡級聯起來。

4.如權利要求3所述的基于多尺度融合的遮擋人體姿勢識別方法，其特征在于，步驟二：基于級聯金字塔網絡的多尺度特征融合，算法具體為：

2.1基于目標檢測框識別結果，使用級聯金字塔(Cascaded Pyramid)人體檢測器處理模型輸入圖像；

2.2使用基于殘差網絡(ResNet)的全局網絡，對目標整體進行識別；

2.3基于全局網絡識別結果，使用精煉網絡對困難關鍵點進行處理。

5.如權利要求4所述的基于多尺度融合的遮擋人體姿勢識別方法，其特征在于，具體地，基于目標檢測框識別結果，使用級聯金字塔(Cascaded Pyramid)人體檢測器處理模型輸入圖像，該模型采用自頂向下的結構，基本流程如下:

a.圖像輸入級聯金字塔網絡進行人體骨骼關鍵點的識別；級聯金字塔網絡級聯了兩個不同作用的網絡結構：全局網絡和精煉網絡；

b.在全局網絡中，對所有人體關鍵點進行識別；在此階段，較為容易識別的關鍵點能夠較為迅速地被確定；然后將全局網絡識別結果輸入級聯的下一級網絡。

c.在精煉網絡中，采用難例挖掘策略針對被遮擋的困難節點進行顯式的處理，從而在全局網絡的基礎上進一步地調整了那些不易被識別的困難點的誤差；

d.圖像經過兩級級聯網絡后，得到調整過的人體關鍵點位置作為網絡模型的輸出。