[發明專利]一種基于雙向序列化建模的人體姿態估計方法

在審

• 申請號: 202011610311.1
• 申請日: 2020-12-30
• 公開（公告）號: CN112633220A
• 公開（公告）日: 2021-04-09
• 發明（設計）人: 劉振廣;封潤洋;陳豪明;王勛;錢鵬
• 申請（專利權）人: 浙江工商大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/62;G06N3/08;G06N3/04
• 代理公司: 杭州天勤知識產權代理有限公司 33224
• 代理人: 王琛

本發明公開了一種基于雙向序列化建模的人體姿態估計方法，以連續的3幀作為輸入，充分利用視頻的時序信息計算每個關節的大致空間范圍，然后從更小的范圍內回歸關節的具體位置，從而更好地解決人體姿態估計任務中固有的遮擋、運動模糊等問題，使得模型的泛化性更強，具有更高的準確率。本發明充分利用了視頻的時序信息，增強了模型的推理能力，能夠更好地對人體關鍵部位進行估計，在安防、短視頻平臺等需要實時抽取姿態進行分析的行業具有重要意義。

技術領域

本發明屬于人體姿態估計技術領域，具體涉及一種基于雙向序列化建模的人體姿態估計方法。

背景技術

人體姿態估計是計算機視覺中的一項前沿研究領域，它的目標在于定位出圖片或視頻中的人體關鍵部位(如手腕、腳踝)，從而實現人體姿態估計。人體姿態估計是溝通機器與人之間的橋梁，具有重大的實際意義，已經廣泛應用于很多領域，例如舞臺動畫領域，通過識別人的姿態動作可以產生實時可交互的動畫效果；自動駕駛領域，通過預測行人的運動趨勢可以提前避免車禍的發生；安防領域，通過識別特定的姿態序列可以檢測異常行為。

目前，人體姿態估計方法主要分為兩類：(1)自頂向下，首先檢測出圖片中所有的人體位置，通常用矩形邊界框標注人體；然后通過人體關節部位檢測器識別每個人體的關節；接著利用仿射變換把裁剪后的人物姿態信息映射回原始圖片，從而實現圖片中所有人體姿態估計。自頂向下的方法將人物位置檢測任務與人體關節檢測任務分離，集中于姿態估計方法本身，因而具有較高的準確率，但是花費的檢測時間與圖片中人物數量呈正相關，并且該方法需要使用目標檢測技術，位置坐標的檢測質量將會直接影響姿態估計的最終結果。(2)自底向上，首先檢測出圖片中所有人體的關節位置信息，然后把屬于同一個人的關節坐標進行聚類，從而對圖片中所有人體進行姿態估計。自底向上的方法效率較高，檢測時間受圖片中人物數量影響較小，但準確率稍有落后。

上述主流的人體姿態估計方法包括自頂向下與自底向上都是針對于靜態圖片設計的網絡架構，擅長于單幀圖片中的人體姿態估計，用于視頻時，通常是把視頻分解為單幀，然后對每幀進行姿態估計，然而這些方法存在很大的局限性，即只能捕獲單張圖片的表觀信息。一般情況下1幀即1/25秒，是非常短暫的，因此視頻兩幀之間圖像不會發生非常大的變化，具有很高的相似性，由于視頻相鄰幀之間存在豐富的幾何一致性，這種額外線索可以用于校正被遮擋或運動模糊等難以預測的關鍵點。

傳統基于圖片的姿態估計方法并無法有效利用對這些額外信息，導致其無法處理視頻序列中經常發生的人物高度糾纏、互相遮擋、運動模糊等情況，因而在視頻姿態估計中難以取得很好的結果。針對這一問題，文獻[Flowing ConvNets for Human PoseEstimation in Videos-[CODE]–Pfister.T,Charles.JZisserman.A(ICCV 2015)]提出計算每兩幀之間的稠密光流信息，然后使用基于流的時間信息來矯正初始的姿態估計；當光流能正確計算時，這種方法取得了很好的效果，然而光流的計算受圖片質量、遮擋等影響很大，在視頻中無法精確計算所有的光流信息，且光流信息的計算往往需要大量的算力支持。也有學者提出使用長短期記憶網絡(Long Short-Term Memory，LSTM)直接對視頻進行建模以捕獲時序信息，然而由于LSTM網絡本身架構限制，這種方法只有在視頻幀中人物比較稀疏時才能取得比較好的效果，當用于復雜場景中時，依然無法處理遮擋、運動模糊等情況。

發明內容

鑒于上述，本發明提供了一種基于雙向序列化建模的人體姿態估計方法，以連續的3幀作為輸入，充分利用視頻的時序信息計算每個關節的大致空間范圍，然后從更小的范圍內回歸關節的具體位置，從而更好地解決人體姿態估計任務中固有的遮擋、運動模糊等問題，使得模型的泛化性更強，具有更高的準確率。

一種基于雙向序列化建模的人體姿態估計方法，包括如下步驟：

(1)收集用于人體姿態估計的視頻數據集并對其進行預處理；