[發明專利]一種關鍵點預測方法、裝置、電子設備及存儲介質

有效

• 申請號: 201711084158.1
• 申請日: 2017-11-07
• 公開（公告）號: CN108205655B
• 公開（公告）日: 2020-08-11
• 發明（設計）人: 楊濤;顏深根
• 申請（專利權）人: 北京市商湯科技開發有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06K9/46
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

本發明實施例公開了一種關鍵點預測方法、裝置、電子設備及存儲介質，其中，關鍵點預測方法包括：獲取視頻幀中包含有待識別人物的目標區域；將目標區域輸入神經網絡中的任意一個神經網絡單元，生成關鍵點熱點圖；其中，神經網絡包括多個級聯的神經網絡單元，每個神經網絡單元包括長短期記憶子網絡，長短期記憶子網絡用于根據目標區域和當前神經網絡單元的前級神經網絡單元對應的長短期記憶子網絡的輸出結果篩選記憶特征，所述記憶特征用于確定所述關鍵點熱點圖；根據關鍵點熱點圖，確定視頻幀中人體關鍵點的位置信息。本發明實施例實現了對視頻進行快速高精度的關鍵點預測，提高了關鍵點預測的準確度。

技術領域

本發明實施例涉及圖像識別技術，尤其涉及一種人體關鍵點的預測方法、裝置、電子設備及存儲介質。

背景技術

人體關鍵點的預測是人體運動視覺分析領域的重要研究課題，廣泛應用于增強現實、計算機動畫以及自動照片處理等領域。傳統的人體關鍵點的預測多數是基于手工設計的圖模型，受限于模型表現能力導致預測精度不高。

隨著卷積神經網絡的發展，人體關鍵點的預測技術也得到快速發展，但是目前的預測均是對靜態圖像的預測，不能融合時序特征，且靜態關鍵點預測的存在的預測誤差導致視頻的人體關鍵點在連續的各視頻幀中不連貫，預測準確率降低。

發明內容

本發明提供一種人體關鍵點的預測方法、裝置、電子設備及存儲介質，以實現提高視頻中關鍵點預測的準確度。

第一方面，本發明實施例提供了一種關鍵點預測方法，該方法包括：

獲取視頻幀中包含有待識別人物的目標區域；

將所述目標區域輸入神經網絡中的任意一個神經網絡單元，生成關鍵點熱點圖；其中，所述神經網絡包括多個級聯的所述神經網絡單元，每個所述神經網絡單元包括長短期記憶子網絡，所述長短期記憶子網絡用于根據所述目標區域和當前神經網絡單元的前級神經網絡單元對應的長短期記憶子網絡的輸出結果篩選記憶特征，所述記憶特征用于確定所述關鍵點熱點圖；

根據所述關鍵點熱點圖，確定所述視頻幀中人體關鍵點的位置信息。

進一步的，獲取視頻幀中包含有待識別人物的目標區域，包括：

識別所述視頻幀中的所述待識別人物的位置信息，根據所述待識別人物的位置信息在所述視頻幀中截取預設大小的目標區域，所述待識別人物位于所述目標區域的中心位置。

進一步的，所述方法還包括：

對所述神經網絡進行訓練；

所述對所述神經網絡進行訓練，包括：

建立神經網絡，所述神經網絡包括預設級數的神經網絡單元，所述各神經網絡單元依次連接，其中，每個所述神經網絡單元包括長短期記憶子網絡；

在預設幀數的樣本視頻幀中分別獲取對應的樣本目標區域，將各所述樣本目標區域分別輸入對應的神經網絡單元，生成人體關鍵點的訓練熱點圖，其中，所述預設幀數與所述預設級數相同；

根據所述人體關鍵點的樣本熱點圖和所述訓練熱點圖之間的誤差，調節所述神經網絡的網絡參數。

進一步的，所述神經網絡單元還包括第一子網絡和第二子網絡；

其中，所述第一子網絡用于提取所述訓練區域的輪廓特征圖；

所述長短期記憶子網絡分別與所述第一子網絡、上一級第二子網絡以及上一級的長短期記憶子網絡相連，用于根據所述輪廓特征圖、所述上一級第二子網絡輸出的關鍵點熱點圖以及上一級長短期記憶子網絡輸出的記憶特征圖，生成當前神經網絡單元的記憶特征圖，并將所述當前神經網絡單元的記憶特征圖發送至下一級長短期記憶子網絡；