[發明專利]一種模型訓練方法、電子設備及存儲介質

在審

• 申請號: 202110386076.2
• 申請日: 2021-04-12
• 公開（公告）號: CN112801064A
• 公開（公告）日: 2021-05-14
• 發明（設計）人: 石彪;李廷照;張舉勇;戶磊
• 申請（專利權）人: 北京的盧深視科技有限公司;合肥的盧深視科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京智晨知識產權代理有限公司 11584
• 代理人: 張婧

1.一種模型訓練方法，其特征在于，包括：

獲取圖像訓練集和標注數據；其中，所述標注數據包括基于所述圖像訓練集優化得到的人手三維模型；

基于預定義的至少包括相鄰幀損失約束項的損失函數，利用所述圖像訓練集中的各幀訓練圖像和所述標注數據，訓練得到人手捕捉模型；其中，所述人手捕捉模型為用于判斷單張人手圖像表征的人手姿態參數和人手形狀參數的神經網絡模型，以便基于所述人手姿態參數、所述人手形狀參數，以及人手的參數化模型得到人手動作模型。

2.根據權利要求1所述的模型訓練方法，其特征在于，獲取所述圖像訓練集，包括：

控制多個圖像采集裝置同步拍攝人手圖像；其中，所述多個圖像采集裝置的擺放方位不同；

根據拍攝的人手圖像，構建所述圖像訓練集。

3.根據權利要求2所述的模型訓練方法，其特征在于，所述根據拍攝的人手圖像，構建所述圖像訓練集，包括：

對所述拍攝的人手圖像進行數據增強；

將數據增強后的人手圖像和所述拍攝的人手圖像，作為所述圖像訓練集的訓練圖像。

4.根據權利要求1所述的模型訓練方法，其特征在于，獲取所述標注數據，包括：

基于預定義的優化目標函數和優化算法的輸入數據，優化得到所述人手三維模型，以作為所述標注數據；

其中，所述優化算法的輸入數據包括基于所述圖像訓練集得到的人手輪廓圖、點云數據、二維關鍵點數據和三維關鍵點數據。

5.根據權利要求4所述的模型訓練方法，其特征在于，所述優化目標函數與二維關鍵點誤差、三維關鍵點誤差、人手參數誤差、相鄰幀的參數差異和輪廓誤差相關。

6.根據權利要求1至5中任一項所述的模型訓練方法，其特征在于，所述相鄰幀損失約束項的函數表達式為：

L_Smooth=||θ_pre-θ_cur||₂²+||β_pre-β_cur||₂²公式a；

其中，L_Smooth表示相鄰幀損失約束，θ_pre表示基于前一幀訓練圖像預測的人手姿態參數，β_pre表示基于前一幀訓練圖像預測的人手形狀參數，θ_cur表示基于當前幀訓練圖像預測的人手姿態參數，β_cur表示基于當前幀訓練圖像預測的人手形狀參數。

7.根據權利要求1至5中任一項所述的模型訓練方法，其特征在于，所述損失函數還包括點云損失約束項、二維關鍵點損失約束項和三維關鍵點損失約束項。

8.根據權利要求1至5中任一項所述的模型訓練方法，其特征在于，所述人手捕捉模型為輕量級神經網絡和門控循環單元模型級聯得到的網絡模型。

9.一種電子設備，其特征在于，包括：至少一個處理器；以及，

與所述至少一個處理器通信連接的存儲器；其中，所述存儲器存儲有可被所述至少一個處理器執行的指令，所述指令被所述至少一個處理器執行，以使所述至少一個處理器能夠執行如權利要求1至8中任一所述的模型訓練方法。

10.一種計算機可讀存儲介質，存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現權利要求1至8中任一項所述的模型訓練方法。