[發明專利]一種基于信念圖增強網絡的人體姿態估計方法

在審

• 申請號: 202110471854.8
• 申請日: 2021-04-29
• 公開（公告）號: CN113128446A
• 公開（公告）日: 2021-07-16
• 發明（設計）人: 唐杰;武港山;張哲;唐玉婷;薛占奎
• 申請（專利權）人: 南京大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京天翼專利代理有限責任公司 32112
• 代理人: 奚銘

一種基于信念圖增強網絡的人體姿態估計方法，構建一個信念圖增強網絡，對人體姿態估計基礎模型輸出的信念圖提高分辨率；在訓練信念圖增強網絡時，根據訓練集中的標注信息生成低分辨率信念圖標簽和高分辨率信念圖標簽，低分辨率信念圖標簽對應基礎模型的輸出分辨率，高分辨率信念圖標簽對應信念圖增強網絡的輸出分辨率，訓練時利用MESLoss函數分別計算兩種分辨率下預測結果與真實標簽之間的均方誤差，求二者的加權和，并以此推導信念圖增強網絡各層參數的梯度，使用Adam優化器進行監督訓練。本發明能夠改善現有人體姿態估計方法中最終輸出的信念圖分辨率較低的現狀，達到提高預測精確度的目的，而且不會帶來參數量和浮點運算量上的顯著提升。

技術領域

本發明屬于深度學習、計算機視覺和計算機圖像理解技術領域，主要涉及人體檢測和人體姿態估計，是一種基于信念圖增強網絡的人體姿態估計方法，用于提高網絡模型最終輸出的信念圖的分辨率從而獲得更加精準的預測結果。

背景技術

人體姿態估計(Human Pose Estimation)，又名關鍵點檢測(KeypointDetection)，是一項與圖像分類、物體檢測、圖像語義分割等相并列的計算機視覺任務，也是一項促進和推動計算機視覺領域圖像理解方向發展和進步的基礎性研究。人體姿態估計的具體含義是指給定一張圖像，需要從中得到人體的各個關鍵點的位置信息。人體的各個關鍵點實際上指的是包含了五官、肩頸、手肘、手腕、髖跨、膝蓋、腳踝等在內的一系列的重要關節點。在獲得了人體的這些信息之后，就具備了在一個新的空間中重建人體姿態結構的能力，從而能夠促進機器對圖像的理解，于是衍生出了一系列的與姿態相關的應用場景，比如：姿態遷移，動作識別，人機交互，姿態追蹤，監控安防等等。

自從2014年Tompson和Jain等學者提出使用深度卷積神經網絡(DeepConvolutional Neural Network,簡稱DCNN)來預測人體各個關鍵點的信念圖(BeliefMap)，而不是直接回歸其數值坐標，這類方法就一躍成為了解決人體姿態估計問題的最主流的方法。在生成真實標簽(Ground-Truth Label)時，每個關鍵點都會單獨占據一個通道的信念圖，且以其坐標點為中心生成一個二維高斯分布，為了擬合這個結果，輸入圖像在經過卷積神經網絡處理之后也會生成一組熱度圖，兩組熱度圖之間的均方誤差作為損失函數供網絡調整訓練。這類方法具有天然的高魯棒性的優勢，最近幾年，人體姿態估計領域百花齊放，絕大多數模型的提出采用的都是上述方法。

但是，這些模型往往會涉及到非常深的網絡層數，為了避免浮點運算量(FLOPs)過大而導致訓練、推理流程速度過慢，網絡的設計者們通常會指定輸出一個具有固定尺寸的低分辨率信念圖，然后提取該信念圖中信念值最大的像素點的坐標，再將這個坐標從低分辨率空間映射回原圖像所在的高分辨率空間。映射過程中，信念圖的分辨率越低，變換之后得到的關鍵點坐標與真實坐標之間的誤差就會越大，反之，信念圖的分辨率越高，預測得到的關鍵點坐標就會越準確。因此，在計算資源受限的場景下，如何得到高分辨率信念圖來獲取更加精確的姿態估計結果，同時又能盡量避免運算量上的額外負擔，是目前亟需解決的問題之一。

發明內容

本發明要解決的問題是：人體姿態估計目前的常用方法是使用DCNN預測人體各個關鍵點的信念圖，為了避免浮點運算量過大而導致訓練、推理流程速度過慢，信念圖的分辨率往往會比原始圖像的分辨率低很多，而為了得到最終的預測結果，需要通過多次映射將信念圖變換回原始空間，信念圖分辨率越低，映射過程產生的偏差就越大，預測結果就會越不準確。如何在不增加計算量的情況下提高準確性，是一個亟需解決的問題。