[發明專利]基于熱力圖和偏移向量的姿態識別方法、系統及存儲介質

有效

• 申請號: 202010006031.3
• 申請日: 2020-01-03
• 公開（公告）號: CN111191622B
• 公開（公告）日: 2023-05-26
• 發明（設計）人: 肖菁;李海超;屈光卓
• 申請（專利權）人: 華南師范大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/46;G06V10/82;G06N3/0455;G06N3/0464;G06N3/084
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 何文聰

本發明公開了基于熱力圖和偏移向量的姿態識別方法、系統及存儲介質，方法包括：獲取待識別目標圖像；對所述待識別目標圖像進行特征提取；根據提取的特征，預測關鍵點位置；對預測得到的關鍵點進行修正，確定關鍵點的最終位置；以及根據所述關鍵點，確定待識別目標的姿態信息。本發明通過提取圖像的特征，接著預測關鍵點位置，還能對預測結果進行修正，最后識別得到姿態信息，本發明能夠獲得更加精確的姿態信息，可廣泛應用于深度學習技術領域。

技術領域

本發明涉及深度學習技術領域，尤其是基于熱力圖和偏移向量的姿態識別方法、系統及存儲介質。

背景技術

熱力圖：是一種概率圖，距離中心點位置越近的像素點的概率越接近1，距離中心點越遠的像素點的概率越接近0，具體可以通過相應函數進行模擬，如Gaussian等。

偏移向量：由點與參考點之間的距離推斷出點與點之間的位移。

姿態估計：確定物體在圖像(或立體圖像、圖像序列)中的姿態,重建人的關節和肢體的具體任務。

日常生活中人們通常使用拍攝照片的方式來記錄生活，為了能更好地理解圖片中人物信息，我們想要定位人們的位置，了解人們所進行的活動，如何實現這些目標是人體姿態估計的主要問題。姿態估計又稱為人體關鍵點檢測，主要識別人體關鍵部位的位置，比如鼻子、左眼、右眼、左耳、右耳、左肩、右肩、左手肘、右手肘、左手腕、右手腕、左臀、右臀、左膝、右膝、左腳踝和右腳踝等等。盡管進行了多年的研究，但至今仍是是計算機視覺中一個極具挑戰性的問題，其難點主要來自于自然場景下的復雜背景，模糊，遮擋，光照的明暗，衣物的顏色。不僅如此，人與人之間的肢體交互也會造成強烈的干擾，例如肢體的重疊，肢體間的遮擋。

由于實際應用場景中的人物往往不止一個，目前的姿態估計算法主要為多人姿態算法。多人姿態估計算法主要有兩種趨勢，一種是自頂而下(Top-down)的方法，另一種則是自底向上(Bottom-up)的方法。自頂向下就是先利用目標檢測(Object?detection)的方法，例如Faster-RCNN(Faster?Region-based?Convolutional?Neural?Networks)或SSD(Single?Shot?MultiBox?Detector)等得到圖像中多個人物的檢測框，然后把它們從原圖中剪切下來分別傳遞給后面的姿態估計網絡，該網絡則針對剪切后的圖像單獨預測人體關鍵點。自頂向下的方法將多人姿態估計的問題轉化為單人姿態估計。自底向上的多人姿態估計方法則是先檢測所有人身上的關鍵點，然后對這些關鍵點進行聚類處理，將不同人的不同關鍵點連接在一塊，從而聚類產生不同的個體。自底向上的多人姿態估計方法側重于對關鍵點聚類方法的探索，即如何去構建不同關鍵點之間的關系。

隨著深度學習技術在計算機視覺領域的迅猛發展，最近幾年涌現出了大批采用深度學習解決人體關鍵點檢測的研究工作。然而，大多數現有的工作都聚焦于如何設計數據在網絡中的傳遞路徑，以獲取圖片中豐富的空間信息和細節信息。例如，特征金字塔網絡(Feature?Pyramid?Networks?for?Object?Detection)，級聯的卷積神經網絡(CascadedPyramid?Network?for?Multi-Person?Pose?Estimation)和堆疊的沙漏網絡(StackedHourglass?Networks?for?Human?Pose?Estimation)等等。這些方法固然能提升人體關鍵點檢測的準確性，但是它們忽略了預測點從低分辨率到高分辨率映射過程中，會發生微小的偏移，這造成了一定程度的精度損失。

發明內容

有鑒于此，本發明實施例提供基于一種精度高的熱力圖和偏移向量的姿態識別方法、系統及存儲介質。

本發明的第一方面提供了一種基于熱力圖和偏移向量的姿態識別方法，包括：

獲取待識別目標圖像；

對所述待識別目標圖像進行特征提取；

根據提取的特征，預測關鍵點位置；