[發明專利]過渡幀預測模型的訓練方法以及過渡幀預測方法

有效

• 申請號: 202110426319.0
• 申請日: 2021-04-20
• 公開（公告）號: CN113112577B
• 公開（公告）日: 2022-06-14
• 發明（設計）人: 石天陽;段穎琳;袁燚;范長杰;胡志鵬
• 申請（專利權）人: 網易(杭州)網絡有限公司
• 主分類號: G06T13/40
• 分類號: G06T13/40;G06V20/40;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 鐘揚飛

1.一種過渡幀預測模型的訓練方法，其特征在于，包括：

獲取多張連續動作幀對應的目標關節數據，其中所述多張連續動作幀包括關鍵幀和中間幀；

對所述中間幀的目標關節數據進行掩膜，獲得中間幀的關節掩膜數據；

將所述中間幀的關節掩膜數據和所述關鍵幀的目標關節數據作為自注意力神經網絡模型的輸入，其中所述自注意力神經網絡模型是根據用于表征不同關節之間從屬關系的關節關系矩陣，將注意力得分矩陣與關節關系矩陣進行逐元素相乘，獲得改進后的注意力得分矩陣，基于改進后的注意力得分矩陣構建的；

調整所述自注意力神經網絡模型的可學習參數，使所述自注意力神經網絡模型輸出的中間幀的關節預測結果與中間幀的目標關節數據的差異小于閾值，得到由所述自注意力神經網絡模型訓練完成的過渡幀預測模型。

2.根據權利要求1所述的方法，其特征在于，所述不同關節之間從屬關系是指子節點與父節點之間的從屬關系。

3.根據權利要求1所述的方法，其特征在于，所述對所述中間幀的目標關節數據進行掩膜，獲得中間幀的關節掩膜數據，包括：

根據所述關鍵幀的目標關節數據，通過線性插值獲得所述中間幀的關節掩膜數據。

4.根據權利要求1所述的方法，其特征在于，所述對所述中間幀的目標關節數據進行掩膜，獲得中間幀的關節掩膜數據，包括：

將所述中間幀的目標關節數據進行置零，獲得所述中間幀的關節掩膜數據。

5.根據權利要求1所述的方法，其特征在于，所述自注意力神經網絡模型包括：自注意力模塊和前饋神經網絡模塊；將所述中間幀的關節掩膜數據和所述關鍵幀的目標關節數據作為自注意力神經網絡模型的輸入，包括：

將所述中間幀的關節掩膜數據和所述關鍵幀的目標關節數據作為所述自注意力模塊的輸入，獲得所述自注意力模塊輸出的注意力得分矩陣；所述可學習參數為所述自注意力模塊的查詢權重Q、鍵權重K、值權重V；

根據用于表征不同關節之間從屬關系的關節關系矩陣，將所述注意力得分矩陣與所述關節關系矩陣進行逐元素相乘，獲得改進后的注意力得分矩陣；

根據所述改進后的注意力得分矩陣，通過所述前饋神經網絡模塊計算所述中間幀的關節預測結果。

6.根據權利要求5所述的方法，其特征在于，所述自注意力模塊為多頭自注意力模塊；將所述中間幀的關節掩膜數據和所述關鍵幀的目標關節數據作為所述自注意力模塊的輸入，獲得所述自注意力模塊輸出的注意力得分矩陣，包括：

將所述中間幀的關節掩膜數據和所述關鍵幀的目標關節數據作為所述多頭自注意力模塊的輸入，獲得所述多頭自注意力模塊輸出的多個注意力得分矩陣；

其中，所述多個注意力得分矩陣對應多個所述改進后的注意力得分矩陣。

7.根據權利要求6所述的方法，其特征在于，所述根據所述改進后的注意力得分矩陣，通過所述前饋神經網絡模塊計算所述中間幀的關節預測結果，包括：

根據多個所述改進后的注意力得分矩陣，通過拼接得到注意力得分拼接矩陣；

將由所述中間幀的關節掩膜數據和所述關鍵幀的目標關節數據構成的矩陣與所述注意力得分拼接矩陣進行求和并歸一化，獲得特征數據；

將所述特征數據作為所述前饋神經網絡模塊的輸入，獲得所述前饋神經網絡模塊輸出的所述中間幀的關節預測結果。

8.根據權利要求7所述的方法，其特征在于，所述多頭自注意力模塊和前饋神經網絡模塊有6-12組，每組包含一個多頭自注意力模塊和前饋神經網絡模塊；前一組前饋神經網絡模塊的輸出作為下一組多頭自注意力模塊的輸入；所述中間幀的關節預測結果是根據最后一組前饋神經網絡模塊的輸出得到的。