[發明專利]人體姿態預測方法、裝置、設備及存儲介質

有效

• 申請號: 201810321191.X
• 申請日: 2018-04-11
• 公開（公告）號: CN108549863B
• 公開（公告）日: 2019-11-26
• 發明（設計）人: 張虹;沈小勇;賈佳亞
• 申請（專利權）人: 騰訊科技(深圳)有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 44202 廣州三環專利商標代理有限公司
• 代理人: 郝傳鑫;賈允<國際申請>=<國際公布>=

本申請實施例公開了一種人體姿態預測方法、裝置、設備及存儲介質，屬于圖像處理領域。所述方法包括：通過基本神經網絡對輸入的目標圖像進行預測，得到人體關鍵點的初始預測圖；將所述人體關鍵點的初始預測圖和人體結構圖輸入人體圖神經網絡；通過所述人體圖神經網絡采用所述人體關鍵點的初始預測圖對所述人體結構圖進行初始化，得到初始化后的人體結構圖；通過所述人體圖神經網絡對所述初始化后的人體結構圖進行迭代預測，得到最終預測圖。本申請實施例能夠充分利用人體圖神經網絡對人體關節之間的空間信息進行挖掘，從而在提取圖像特征的基礎上綜合挖掘人體關節之間的空間信息，得到較為準確的人體姿態信息。

技術領域

本申請實施例涉及機器學習領域，特別涉及一種人體姿態預測方法、裝置、設備及存儲介質。

背景技術

人體姿態估計的目標是像素級別的精準預測人體關鍵點，比如識別圖像中的頭、胳膊肘、手、膝蓋和腳等關鍵點位置。人體姿態估計還可以服務于許多更復雜的任務，比如人體行為估計、目標跟蹤、人體交互等。

相關技術中提供了基于圖像特征的預測方法。基于圖像特征的方法主要目標是學習高質量的圖像特征表達，然后將圖像特征表達直接回歸至相應的關鍵點位置。

但基于圖像特征的預測方法只專注于挖掘圖像特征，預測精度有限。

發明內容

本申請實施例提供了一種人體姿態預測方法、裝置、設備及存儲介質，可以解決基于圖像特征的預測方法只專注于挖掘圖像特征，預測精度有限的問題。所述技術方案如下：

根據本申請的一個方面，提供了一種人體姿態預測方法，所述方法包括：

通過基本神經網絡對輸入的目標圖像進行預測，得到人體關鍵點的初始預測圖；

將所述人體關鍵點的初始預測圖和人體結構圖輸入人體圖神經網絡，所述人體結構圖中的每個節點分別對應一個人體關節，每條邊表示連接相鄰的人體關節；

通過所述人體圖神經網絡采用所述人體關鍵點的初始預測圖對所述人體結構圖進行初始化，得到初始化后的人體結構圖；

通過所述人體圖神經網絡對所述初始化后的人體結構圖進行迭代預測，得到最終預測圖，所述最終預測圖包括預測出的人體姿態。

根據本申請的另一方面，提供了一種人體姿態預測裝置，所述裝置包括：基本神經網絡模塊和人體圖神經網絡模塊；

所述基本神經網絡模塊，用于對輸入的目標圖像進行預測，得到人體關鍵點的初始預測圖；

所述人體圖神經網絡模塊，用于獲取所述人體關鍵點的初始預測圖和人體結構圖，所述人體結構圖中的每個節點分別對應一個人體關節，每條邊表示連接相鄰的人體關節；

所述人體圖神經網絡模塊，用于采用所述人體關鍵點的初始預測圖對所述人體結構圖進行初始化，得到初始化后的人體結構圖；

所述人體圖神經網絡模塊，用于對所述初始化后的人體結構圖進行迭代預測，得到最終預測圖，所述最終預測圖包括預測出的人體姿態。

根據本申請的另一方面，提供了一種計算機可讀存儲介質，所述存儲介質中存儲有至少一條指令，所述至少一條指令由處理器加載并執行以實現如上所述的人體姿態預測方法。

根據本申請的另一方面，提供了一種電子設備，所述電子設備包括存儲器和處理器；所述存儲器存儲有至少一條指令，所述至少一條指令由所述處理器加載并執行以實現如上所述的人體姿態預測方法。

本申請實施例提供的技術方案帶來的有益效果是：