[發明專利]一種關鍵點預測方法、裝置、電子設備及存儲介質

有效

• 申請號: 201711084158.1
• 申請日: 2017-11-07
• 公開（公告）號: CN108205655B
• 公開（公告）日: 2020-08-11
• 發明（設計）人: 楊濤;顏深根
• 申請（專利權）人: 北京市商湯科技開發有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06K9/46
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種關鍵點預測方法，其特征在于，包括：

獲取視頻幀中包含有待識別人物的目標區域；

將所述目標區域輸入神經網絡中的任意一個神經網絡單元，生成關鍵點熱點圖；其中，所述神經網絡包括多個級聯的所述神經網絡單元，每個所述神經網絡單元包括長短期記憶子網絡，所述長短期記憶子網絡用于根據所述目標區域和當前神經網絡單元的前級神經網絡單元對應的長短期記憶子網絡的輸出結果篩選記憶特征，所述記憶特征用于確定所述關鍵點熱點圖；

根據所述關鍵點熱點圖，確定所述視頻幀中人體關鍵點的位置信息。

2.根據權利要求1所述的方法，其特征在于，獲取視頻幀中包含有待識別人物的目標區域，包括：

識別所述視頻幀中的所述待識別人物的位置信息，根據所述待識別人物的位置信息在所述視頻幀中截取預設大小的目標區域，所述待識別人物位于所述目標區域的中心位置。

3.根據權利要求1所述的方法，其特征在于，所述方法還包括：

對所述神經網絡進行訓練；

所述對所述神經網絡進行訓練，包括：

建立神經網絡，所述神經網絡包括預設級數的神經網絡單元，所述各神經網絡單元依次連接，其中，每個所述神經網絡單元包括長短期記憶子網絡；

在預設幀數的樣本視頻幀中分別獲取對應的樣本目標區域，將各所述樣本目標區域分別輸入對應的神經網絡單元，生成人體關鍵點的訓練熱點圖，其中，所述預設幀數與所述預設級數相同；

根據所述人體關鍵點的樣本熱點圖和所述訓練熱點圖之間的誤差，調節所述神經網絡的網絡參數。

4.根據權利要求3所述的方法，其特征在于，所述神經網絡單元還包括第一子網絡和第二子網絡；

其中，所述第一子網絡用于提取訓練區域的輪廓特征圖；

所述長短期記憶子網絡分別與所述第一子網絡、上一級第二子網絡以及上一級的長短期記憶子網絡相連，用于根據所述輪廓特征圖、所述上一級第二子網絡輸出的關鍵點熱點圖以及上一級長短期記憶子網絡輸出的記憶特征圖，生成當前神經網絡單元的記憶特征圖，并將所述當前神經網絡單元的記憶特征圖發送至下一級長短期記憶子網絡；

所述第二子網絡用于根據所述當前神經網絡單元的記憶特征圖生成當前神經網絡單元的關鍵點熱點圖。

5.根據權利要求3所述的方法，其特征在于，預設神經網絡還包括初始神經網絡單元，所述初始神經網絡單元與第一級神經網絡單元連接，用于提取初始訓練區域的初始熱點圖，并根據所述初始熱點圖對所述長短期記憶子網絡進行初始化，所述初始訓練區域為訓練視頻的第一訓練區域。

6.根據權利要求3所述的方法，其特征在于，根據所述人體關鍵點的樣本熱點圖和所述訓練熱點圖之間的誤差，調節所述神經網絡的網絡參數，包括：

計算所述樣本熱點圖與所述訓練熱點圖對應像素點的像素值的差值，將所述各差值的平方和確定為所述訓練熱點圖的誤差，其中，所述像素值與所述人體關鍵點出現在對應像素點的概率相匹配；

將所述誤差依次反傳至對應的神經網絡單元，根據所述誤差更新所述神經網絡單元中各通道的網絡參數。

7.根據權利要求1-6任一所述的方法，其特征在于，所述長短期記憶子網絡為卷積型神經網絡。

8.根據權利要求1-6任一所述的方法，其特征在于，所述各神經網絡單元的對應的網絡參數一致。