[發明專利]一種模型訓練方法、電子設備及存儲介質

在審

• 申請號: 202110386076.2
• 申請日: 2021-04-12
• 公開（公告）號: CN112801064A
• 公開（公告）日: 2021-05-14
• 發明（設計）人: 石彪;李廷照;張舉勇;戶磊
• 申請（專利權）人: 北京的盧深視科技有限公司;合肥的盧深視科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京智晨知識產權代理有限公司 11584
• 代理人: 張婧

本發明實施方式涉及數據處理領域，公開了一種模型訓練方法、電子設備及存儲介質。本發明的部分實施方式中，模型訓練方法包括以下步驟：獲取圖像訓練集和標注數據；其中，標注數據包括基于圖像訓練集優化得到的人手三維模型；基于預定義的至少包括相鄰幀損失約束項的損失函數，利用圖像訓練集中的各幀訓練圖像和標注數據，訓練得到人手捕捉模型；其中，人手捕捉模型為用于判斷單張人手圖像表征的人手姿態參數和人手形狀參數的神經網絡模型，以便基于人手姿態參數、人手形狀參數，以及人手的參數化模型得到人手動作模型。該實施方式使得可以基于單張圖像得到基于參數化模型構建人手動作模型的過程中所需的參數。

技術領域

本發明實施方式涉及數據處理領域，特別涉及一種模型訓練方法、電子設備及存儲介質。

背景技術

三維人手的重建與屬性識別一直是機器視覺領域的重要研究方向。目前，學術界基于深度學習的人手重建相關工作大致可以分為兩大類，參數化模型重建和非參數化模型重建。其中，非參數化模型重建主要是將多視角的深度圖和彩色圖作為輸入，通過大量的數據學習得到人手模型，數據獲取難度較大。參數化模型重建主要是學習人手模型的參數，然后通過參數來擬合目標手勢模型。兩種方法各有利弊。

隨著近幾年的深度學習技術和硬件技術的快速發展，逐漸從使用機器學習優化演變到通過深度學習得到模型，使得實時手勢動作捕捉有機會實現。然而，目前的基于參數化模型重建方法往往需要基于多張圖像得到參數化模型中所需的參數。

發明內容

本發明實施方式的目的在于提供一種模型訓練方法、電子設備及存儲介質，使得可以基于單張圖像得到基于參數化模型構建人手動作模型的過程中所需的參數。

為解決上述技術問題，本發明的實施方式提供了一種模型訓練方法，包括以下步驟：獲取圖像訓練集和標注數據；其中，標注數據包括基于圖像訓練集優化得到的人手三維模型；基于預定義的至少包括相鄰幀損失約束項的損失函數，利用圖像訓練集中的各幀訓練圖像和標注數據，訓練得到人手捕捉模型；其中，人手捕捉模型為用于判斷單張人手圖像表征的人手姿態參數和人手形狀參數的神經網絡模型，以便基于人手姿態參數、人手形狀參數，以及人手的參數化模型得到人手動作模型。

本發明的實施方式還提供了一種電子設備，包括：至少一個處理器；以及，與至少一個處理器通信連接的存儲器；其中，存儲器存儲有可被至少一個處理器執行的指令，指令被至少一個處理器執行，以使至少一個處理器能夠執行如上述實施方式提及的模型訓練方法。

本發明的實施方式還提供了一種計算機可讀存儲介質，存儲有計算機程序，計算機程序被處理器執行時實現上述實施方式提及的模型訓練方法。

本實施例提供的一種模型訓練方法、電子設備及存儲介質，基于圖像訓練集和標注數據，訓練得到可基于單張人手圖像得到人手姿態參數和形狀參數的人手捕捉模型，使得實際應用中可以基于單張人手圖像得到人手動作模型。由于基于單張圖像即可獲得人手動作模型，對輸入數據要求更低，使得該人手捕捉模型應用更加廣泛，可移植性更強，對于工業界來說能適用于多種場景，產生巨大的商業價值。此外，增加了相鄰幀損失約束項，使得關節旋轉的角速度變化更小，關節旋轉更加平滑，減少抖動對得到的參數的影響。

另外，獲取圖像訓練集，包括：控制多個圖像采集裝置同步拍攝人手圖像；其中，多個圖像采集裝置的擺放方位不同；根據拍攝的人手圖像，構建圖像訓練集。

另外，根據拍攝的人手圖像，構建圖像訓練集，包括：對拍攝的人手圖像進行數據增強；將數據增強后的人手圖像和拍攝的人手圖像，作為圖像訓練集的訓練圖像。

另外，獲取標注數據，包括：基于預定義的優化目標函數和優化算法的輸入數據，優化得到人手三維模型，以作為標注數據；其中，優化算法的輸入數據包括基于圖像訓練集得到的人手輪廓圖、點云數據、二維關鍵點數據和三維關鍵點數據。

另外，優化目標函數與二維關鍵點誤差、三維關鍵點誤差、人手參數誤差、相鄰幀的參數差異和輪廓誤差相關。