[發明專利]一種基于自底向上的多人姿態估計方法及系統

有效

• 申請號: 202011607930.5
• 申請日: 2020-12-30
• 公開（公告）號: CN112597954B
• 公開（公告）日: 2023-06-02
• 發明（設計）人: 駱炎民;萬添俊;林躬耕
• 申請（專利權）人: 華僑大學;福建省公田軟件股份有限公司
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V40/10;G06V10/75;G06V10/82;G06N3/0464;G06N3/08;G06T9/00
• 代理公司: 泉州市文華專利代理有限公司 35205
• 代理人: 陳雪瑩

本發明提供一種基于自底向上的多人姿態估計方法及系統，所述方法包括：步驟1、生成關節所屬個體的熱圖標簽；步驟2、修改深度卷積神經網絡的預測輸出規模；步驟3、采用訓練后的深度卷積神經網絡對待測圖像計算，得到所有人體的中心位置、關節位置以及關節對應所屬的人體中心編碼，并計算得到多人的完整姿態。本發明通過獲取所有人體的中心位置、關節位置以及關節對應所屬的人體中心編碼，得到多人姿態估計，估計過程無需復雜的匹配計算，提高輸出精度和效率。

技術領域

本發明涉及人體姿態估計領域，尤其涉及一種基于自底向上的多人姿態估計方法及系統。

背景技術

人體姿態估計是進一步理解人體行為的關鍵步驟，通過一張RBG圖像進行有效預測人體關節點，進而實現更高級別的計算機視覺任務，對行為識別、異常檢測及人體模型重構等具有重要的意義。盡管對于人體姿態估計的研究眾多，但現有的多人姿態估計技術還遠不夠成熟，尤其是在運行速度上，盡管當前為了提升運行速度，產生了許多輕量級的網絡，但精度卻不佳。而自頂向下的方法雖然精度較高，但檢測速度很容易受到圖片中人數的影響；自底向上的方法雖然可以一次預測出所有的關節點位置，解決了人數影響的問題，但將多個候選關節對應到每一個人的推理部分占據了較多時間，還可能因解析錯誤導致錯誤匹配。綜上所述，人體姿態估計的精度仍有提升的空間。

在網絡結構設計方面，X.Zhou等人在論文“Objects?as?Points”中提出了一種將人看作一個目標的方式，即找到每一個人體目標的中心點，再通過回歸的方式直接計算出所有關節的位置。該方法雖然直接去除了后處理部分，加快了關節預測的計算速度，但精度損失較大，且對于回歸距離較長的關節效果并不理想，同時很容易受到復雜人體和關節遮擋的影響，預測結果出現較大偏差。

在關節預測方法上，T.Zhi等人在論文“DirectPose:Direct?End-to-End?Multi-Person?Pose?Estimation”中提出一種端到端的關鍵點檢測框架，該方法避免了自頂向下和自底向上兩類關鍵點檢測算法的固有問題，把關鍵點看作一個特殊的有K個角點的邊界盒，將每個像素回歸的數量從4增加到2K，K為人體實例的關鍵點數量。該方法預測關鍵點的方式雖然簡單，但由于人體關鍵點數量多且要求更精準，一個特征向量無法滿足回歸一個人體實例的所有關鍵點。因此不能得到很精確的關節位置。

現有的申請號為201810915453.5的中國發明專利中公開了一種基于端到端的人體關節點檢測與分類方法，該方法將預處理得到的圖片輸入到已經訓練好的堆棧式沙漏型神經網絡中,通過前向傳播得到相應關節點的熱力圖分布,再利用條件隨機場模型強化各個節點之間的空間位置關系,最終所有關節得到每個節點出現的概率統計分布,將輸出的預測結果利用預先設定的規則將關節點連接起來，實現端到端的人體姿態估計。該方法采用雙模型的結構來進行人體關節的預測和匹配，擺脫手工匹配處理的方式，但從速度上來看效率相對較低。

發明內容

本發明要解決的技術問題，在于提供一種基于自底向上的多人姿態估計方法及系統，實現關節所屬個體的直接預測，有效解決了因關節親屬熱圖解析不準、匹配出錯導致的預測精度下降的問題，并可有效縮短姿態預測時間。

第一方面，本發明提供了一種基于自底向上的多人姿態估計方法，包括：

步驟1、生成關節所屬個體的熱圖標簽；

步驟2、修改深度卷積神經網絡的預測輸出規模；

步驟3、采用訓練后的深度卷積神經網絡對待測圖像計算，得到所有人體的中心位置、關節位置以及關節對應所屬的人體中心編碼，并計算得到多人的完整姿態。

進一步的，所述步驟1進一步具體為：