[發明專利]基于多尺度融合的遮擋人體姿勢識別方法

在審

• 申請號: 202011225198.5
• 申請日: 2020-11-05
• 公開（公告）號: CN112651294A
• 公開（公告）日: 2021-04-13
• 發明（設計）人: 衛志華;范佳琪;王瀚漓;趙才榮;沈雯
• 申請（專利權）人: 同濟大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 上海科律專利代理事務所(特殊普通合伙) 31290
• 代理人: 葉鳳

本發明公開了一種基于多尺度融合的遮擋人體姿勢識別方法，以視頻中人體姿態識別為背景，從檢測框回歸和關鍵點識別的理論和方法開展研究。首先，在檢測框回歸階段，引入懲罰機制訓練檢測框自動靠近既定目標而遠離非目標物體。其次，基于檢測框識別結果，使基于級聯金字塔的網絡架構，采用多尺度特征融合學習更豐富的特征。最后，在關鍵點識別階段，提出了基于保持高分辨率的定位算法，同時使用在線難例挖掘策略顯式處理困難節點。本發明通過多尺度特征融合優化遮擋人體姿勢識別算法，有效提升了遮擋關鍵點識別的準確性，為視頻中人體姿勢識別提供有效的方法和新的研究思路。本發明將豐富和拓展機器學習理論和方法。

技術領域

本發明屬于計算機視覺領域，具體地說，涉及視頻中人體的檢測與姿勢識別方法。

背景技術

近年來，人們對視頻監控智能化的需求越來越高，希望通過智能分析從視頻中提取到更多的信息，應用于人們的生活和工作中的各個領域。視頻中“人”作為絕對的內容主體，其姿態和行為往往蘊含著大量的信息。人體姿勢識別技術對于描述視頻中的人體姿態、預測人體行為至關重要。姿勢識別是要準確地識別和定位所有人體骨骼關鍵點，這是諸多計算機視覺應用的基礎研究主題。視頻中的人體姿態識別在動作分類、異常行為檢測、人機交互、游戲、動畫、安全等領域有著重要的研究意義和廣闊的應用前景，是計算機視覺領域的重要任務之一。

視頻中的人體姿勢識別是一項具有挑戰性的任務。肢體關節點的靈活性就使得關鍵點的識別具有一定難度，同時例如視點變化的影響、鏡頭運動的干擾、遮擋物的存在、強烈光線與陰影的變化等等都會干擾人體姿勢識別的精度和速度。如何借助先進計算機視覺技術手段增強識別算法的精確度與魯棒性，實現動態抗干擾的人體姿勢識別，一直是研究的重點問題。

深度學習是實現人體姿勢識別的一種有效手段。通過深度學習從數據中學習層次化的特征，并在大量樣本上加以訓練，能夠獲取對象的關鍵節點連線和姿勢識別結果。姿勢識別研究大多基于兩種方式：(1)回歸方式，結果以回歸坐標點的形式呈現，但坐標點難以用于后續的訓練；(2)檢測方式，將坐標點進行高斯轉換得到熱點圖譜，其響應值反映了人體的不同部位。但姿勢識別研究仍然面對著如下許多的困難：首先是姿勢識別結果十分依賴人體姿態檢測的結果，即受檢測框的影響很大，漏檢、誤檢、冗余檢測等都會對后面的姿勢估計產生影響；其次，由于目標行為識別的基礎是關鍵點的準確定位，而真實數據中的密集遮擋問題嚴重影響了關鍵點的定位效果，另一方面，單一尺度的手工提取特征無法滿足復雜環境中的目標行為識別。最后是算法的速度受視頻圖片中出現的人數影響，在復雜場景下，當人數增加時算法的計算速度變得十分緩慢。

因此，這些問題的存在說明視頻中人體姿勢識別需要更加深入的研究。針對現實中存在人體互相遮蓋、其他物體遮擋，檢測框準確性影響識別精度等問題，我們需要一種能夠對密集遮擋場景下對多個人體實現姿態識別的方法。

發明內容

本發明的目的在于公開一種基于多尺度融合的遮擋人體姿勢識別方法，針對當前人體姿勢識別研究中存在的問題和困難，圍繞檢測框回歸和多尺度特征提取展開研究工作。主要包括三個步驟：

步驟一：基于懲罰機制的人體檢測框回歸

對視頻中人體目標進行檢測，通過懲罰機制得到每個目標的檢測框；

步驟二：基于級聯金字塔網絡的多尺度特征融合

基于人體檢測框識別結果，在金字塔級聯網絡中加入多個尺度的特征；

步驟三：保持高分辨率的人體關鍵點識別

融合高分辨率來實現人體的關鍵點識別，并顯式處理困難節點。

針對步驟一，本發明公開了一種基于懲罰機制的檢測框回歸算法，其特征在于，基于目前的邊框回歸中存在的問題，結合人體姿態識別的特點，引入同類和異類懲罰機制對損失函數進行了改進。此算法的目的在于使預測檢測框更加貼近真實檢測框，以便后續關鍵點的處理。