[發明專利]一種基于YOLO的2D姿態檢測方法

在審

• 申請號: 202310094627.7
• 申請日: 2023-02-10
• 公開（公告）號: CN115953806A
• 公開（公告）日: 2023-04-11
• 發明（設計）人: 都衛東;和江鎮;祝偉
• 申請（專利權）人: 征圖新視（江蘇）科技股份有限公司
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V10/22;G06V10/762;G06V10/764;G06V10/82;G06N3/08
• 代理公司: 常州品益專利代理事務所(普通合伙) 32401
• 代理人: 王涵江

本發明涉及一種基于YOLO的2D姿態檢測方法，包括1)訓練集標注；標注出訓練集圖片中檢測對象的Bbox、檢測對象所有關鍵點坐標及關鍵點類別、各個關鍵點連接順序；2)訓練檢測模型并進行檢測；3)檢測時的輸入包含待檢測圖片與關鍵點連接順序兩部分組成；先經過檢測模型檢測出檢測對象的Bbox、Bbox的embedding值，關鍵點的坐標、關鍵點的embedding值；然后關鍵點匹配組合部分根據embedding值將同個檢測對象的關鍵點組合到一起，再依據關鍵點連接順序確定檢測對象位置及姿態。本發明保留了基于YOLO的姿態估計方法推理速度快顯存占用小的特點，同時提高了關鍵點的預測精度并且幾乎不增加額外的算法運行時間。

技術領域

本發明涉及計算機視覺檢測技術領域，尤其是一種基于YOLO的2D姿態檢測方法。

背景技術

姿態估計是計算機視覺領域中的一個重要研究方向，目前被廣泛應用于人體活動分析、人機交互以及視頻監視等方面。姿態估計大多數是人體姿態估計，還有一些有手部姿態估計；人體姿態估計是指通過計算機算法在圖像或視頻中定位人體關鍵點(如肩、肘、腕、髖膝、膝、踝等)；手部姿態估計分為有標記和無標記的姿態估計，用于理解手部行為的意思。

姿態估計的方法可分為基于傳統的姿態估計和基于深度學習的姿態估計。

傳統的姿態估計主要是基于圖結構模型方法?；趫D結構模型方法包含三部分：圖模型、優化算法和組件外觀模型，它提供了經典的對象統計模型，使用圖形結構模型識別圖像中的對象，缺點在于屬于啟發式的局部搜索，沒辦法找到全局最優解。

深度學習是自我解釋型的學習方式，簡單方便，功能強大，很多領域都在使用，而基于深度學習的姿態估計是利用深度卷積神經網絡來增強人體估計系統的性能。與傳統方法相比，深度學習能夠得到更深層圖像特征，對數據的表達更準確，因此已成為研究的主流方向。在深度學習方法中，根據檢測人數分為單人姿態估計與多人姿態估計兩類，對單人姿態估計分為基于坐標回歸與基于熱圖檢測的方法；對多人姿態估計可分為自上而下(Top-Down)和自下而上(Bottom-Up)的方法。

自上而下是指先檢測目標，然后對提取出來的目標區域使用單目標關鍵點檢測方法來構造姿態，這種方法優勢是不用考慮多個目標的多個同類別關鍵點間的匹配組合問題，缺點是非常依賴目標檢測效果，當目標檢出不完整時就無法檢出目標的所有關鍵點，同時隨著目標數量的增加，計算量也會增加。自下而上的方法是目前的主流方法，這種方法先計算所有目標的所有關鍵點，再將關鍵點組合到對應的目標上，關鍵點匹配組合到目標的過程會增加算法的復雜度。

對于關鍵點檢測目前常用的方法主要有基于heatmap的方法和YoloPose這樣的用目標模型直接回歸關鍵點坐標的方法。早期的回歸坐標的方法是用于單目標的關鍵點檢測，對單目標圖片提取特征后直接用全連接層輸出所有關鍵點坐標。Heatmap的方法將關鍵點坐標用圖片的形式輸出出來，生成與關鍵點類別數相等的熱力圖的數量，這種方法的缺點是計算量大，顯存占用量高；通常heatmap的尺寸為輸入圖片的四分之一，這就導致至少會存在3個像素左右的誤差。使用heatmap的方法隨著關鍵點數量的增加會大幅度增加特征圖尺寸，同時還需要考慮不同目標的同類別關鍵點的區分與匹配問題，如在人體姿態估計中一張圖片存在兩個人，每個人都有左肩、左肘、左手這三個關鍵點，即一張圖片中的6個點應該怎樣連接才能分別正確地構成這兩個人的左手臂，在OpenPose算法中使用的是生成關鍵點親和場的方法，這會進一步增加特征圖尺寸，同時帶來計算量與顯存的增加；雖然heatmap方法也有通過生成關鍵點embedding的方法進行匹配，但無法解決生成heatmap特征圖帶來的計算量增加的問題。