[發明專利]模型訓練方法、動作識別方法、裝置、設備及存儲介質

在審

• 申請號: 202011133950.3
• 申請日: 2020-10-21
• 公開（公告）號: CN112257579A
• 公開（公告）日: 2021-01-22
• 發明（設計）人: 李澤遠;王健宗;肖京
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04
• 代理公司: 深圳市力道知識產權代理事務所(普通合伙) 44507
• 代理人: 張傳義

1.一種動作識別模型訓練方法，其特征在于，所述方法包括：

獲取視頻圖像、動作數據和所述視頻圖像、動作數據對應的動作標簽；

基于所述視頻圖像和對應的動作標簽對雙流卷積神經網絡進行網絡訓練，得到訓練完成的網絡模型和預測結果；

基于所述動作數據和對應的動作標簽對預先配置的分類器進行訓練，得到訓練完成的分類模型和分類結果；

將所述訓練完成的網絡模型和所述訓練完成的分類模型合并得到本地識別模型，以及根據所述預測結果和所述分類結果得到本地識別結果；

將所述本地識別模型的模型參數和所述本地識別結果上傳至云服務器進行聯合學習，以得到學習參數；

接收所述云服務器發送的學習參數，并根據所述學習參數更新所述本地識別模型，將更新后的所述本地識別模型作為訓練完成的動作識別模型。

2.根據權利要求1所述的動作識別模型訓練方法，其特征在于，所述基于所述視頻圖像和對應的動作標簽對雙流卷積神經網絡進行網絡訓練，得到訓練完成的網絡模型和預測結果，包括：

根據所述視頻圖像提取與所述視頻圖像對應的光流圖像；

利用所述視頻圖像和對應的動作標簽對雙流卷積神經網絡中的空間流卷積網絡進行訓練，并得到空間預測結果；

利用所述光流圖像和對應的動作標簽對雙流卷積神經網絡中的時間流卷積網絡進行訓練，并得到時間預測結果；

將所述空間預測結果和所述時間預測結果進行聚合，得到預測結果。

3.根據權利要求1所述的動作識別模型訓練方法，其特征在于，所述根據所述預測結果和所述分類結果得到本地識別結果，包括：

基于權重計算公式，根據所述預測結果和所述分類結果得到本地識別結果；

所述權重計算公式包括：

R＝λ₁P_a+λ₂P_b

其中，R表示本地識別結果，P_a表示預測結果中概率最大的結果，λ₁表示概率最大結果P_a的權重系數，P_b表示分類結果中概率最大的結果，λ₂表示概率最大結果P_b的權重系數。

4.根據權利要求1所述的動作識別模型訓練方法，其特征在于，所述將所述本地識別模型的模型參數和所述本地識別結果上傳至云服務器進行聯合學習，包括：

對所述本地識別模型的模型參數和所述本地識別結果進行加密，得到加密數據；

將所述加密數據上傳至云服務器進行聯合學習。

5.根據權利要求1所述的動作識別模型訓練方法，其特征在于，在所述將所述本地識別模型的模型參數和所述本地識別結果上傳至云服務器進行聯合學習之前，所述方法包括：

將訓練完成的網絡模型和預測結果上傳至云服務器進行聯合學習，得到聯合網絡模型；接收所述云服務器發送的所述聯合網絡模型，并將所述聯合網絡模型作為訓練完成的網絡模型；和/或

將訓練完成的分類模型和分類結果上傳至云服務器進行聯合學習，得到聯合分類模型；接收所述云服務器發送的所述聯合分類模型，并將所述聯合分類模型作為訓練完成的分類模型。

6.一種動作識別方法，其特征在于，包括：

獲取待識別圖像和所述待識別圖像對應的運動數據；

將所述待識別圖像和所述運動數據輸入預先訓練的動作識別模型進行動作識別，得到識別結果；

其中，所述預先訓練的動作識別模型為根據權利要求1-5任一項所述的動作識別模型訓練方法訓練得到的。