[發明專利]基于輕量級多分支網絡的二維人體姿態估計方法及系統

有效

• 申請號: 201911212972.6
• 申請日: 2019-12-02
• 公開（公告）號: CN110969124B
• 公開（公告）日: 2022-09-27
• 發明（設計）人: 鐘福金;李明陽
• 申請（專利權）人: 重慶郵電大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/77;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 重慶輝騰律師事務所 50215
• 代理人: 王海軍

本發明涉及姿態估計領域，具體涉及一種基于輕量級多分支網絡的二維人體姿態估計方法及系統，包括：輸入圖像，對其進行預處理；將圖像傳入主干網絡進行特征提取和信息編碼；使用輕量級上采樣單元對主干網絡的不同編碼階段進行解碼，形成多個解碼分支的網絡結構；將各解碼分支生成的特征圖與真實標記熱力圖進行均方損失的求解，并將損失之和回傳給神經網絡進行迭代訓練；訓練完成后，將包含行人的圖像輸入到訓練好的神經網絡模型中，得到各關節點在圖像中的坐標位置，對人體姿態進行可視化。本發明能夠對任意輸入的行人圖片輸出其各關節點坐標并進行姿態的可視化，同時，由于本發明的計算成本較低，便于移動端部署，增加了相關產品的適用性。

技術領域

本發明涉及姿態估計領域，具體涉及一種基于輕量級多分支網絡的二維人體姿態估計方法及系統。

背景技術

人體姿態估計廣泛應用于人機交互、虛擬現實、視頻監控、運動分析、醫療輔助等領域，是計算機視覺領域的一個熱門研究課題。二維人體姿態估計通過圖像或視頻自動定位人體骨骼關鍵點位置，但由于圖像中人的衣著、姿態、背景等的多樣性以及存在一些自我遮擋和其他人或物體遮擋的情況，準確地預測出圖像中的人體骨骼關鍵點非常具有挑戰性。

現有技術中，卷積神經網絡在姿態估計上的應用取得了較大的提升，其準確率已遠高于非深度學習方法。但基于神經網絡的人體姿態估計方法存在著計算量和參數量過大的問題，過于龐大的網絡模型不利于移動端的部署也難以滿足市場的需求。因此，如何在實現高精度值的同時降低計算量，是亟待解決的重要問題。

發明內容

為了解決上述問題，本發明提供一種基于輕量級多分支網絡的二維人體姿態估計方法及系統。

一種基于輕量級多分支網絡的二維人體姿態估計方法，包括以下步驟：

S1、輸入帶有關節點注釋的行人姿態的圖片集合作為數據集，對數據集進行預處理，并根據關節點注釋生成以關節點為中心的真實標記熱力圖；

S2、基于預處理后的數據集，通過行人檢測器用矩形框框選出圖片中的行人，將矩形框區域內的圖像記為圖像M；

S3、將圖像M輸入到主干網絡中，進行特征提取和信息編碼；

S4、通過解碼器對主干網絡的不同編碼階段進行解碼，形成具有多個解碼分支的網絡結構，即神經網絡的后端網絡，同時，在各解碼分支的末端生成特征圖；

S5、將各解碼分支生成的特征圖與真實標記熱力圖進行均方損失的求解，并將各解碼分支的均方損失之和回傳給主干網絡重復編碼解碼過程，對神經網絡進行迭代訓練；

S6、經過多輪訓練后，神經網絡損失趨于穩定，迭代訓練過程結束，得到訓練好的神經網絡模型；

S7、將包含行人的圖像輸入到訓練好的神經網絡模型中，訓練好的神經網絡模型輸出該圖像對應的關節點預測熱力圖，選取該熱力圖的最高概率值，將最高概率值對應的坐標作為關節點在圖像中的坐標位置輸出，并對人體姿態進行可視化處理。

一種基于輕量級多分支網絡的二維人體姿態估計系統，包括：圖像獲取模塊，數據預處理模塊，行人檢測模塊，可視化模塊，神經網絡模塊，輸出模塊，圖像獲取模塊用于輸入數據集，獲取原始圖像信息；數據預處理模塊用于對輸入的數據集中的原始圖像進行翻轉、旋轉、縮放處理，對有限的訓練數據進行擴增；行人檢測模塊用于識別并框選出圖像中的行人；神經網絡模塊用于網絡的訓練和預測熱力圖的生成；可視化模塊用于對神經網絡模塊輸出的預測熱力圖進行可視化處理，將預測熱力圖中的最大置信點作為各個關節點的位置，在原圖副本中畫出關節點，連接原圖副本中的各關節點，得到人體姿態估計圖；輸出模塊用于輸出人體姿態估計圖。

本發明的有益效果：

(1)本發明具有低參數量、高精度的效果，能夠對任意輸入的行人圖片輸出各關節點坐標并進行姿態可視化。