[發明專利]模型訓練以及姿態預測方法、裝置、設備以及存儲介質

有效

• 申請號: 202011284722.6
• 申請日: 2020-11-17
• 公開（公告）號: CN112270711B
• 公開（公告）日: 2023-08-04
• 發明（設計）人: 王迪
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06V10/774;G06N20/20
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

本申請公開了模型訓練以及姿態預測方法、裝置、設備以及存儲介質，涉及計算機視覺、增強現實、深度學習技術領域。具體實現方案為：獲取訓練樣本集合，訓練樣本包括樣本人體圖像和對應的標注二維關節點；根據訓練樣本，對待訓練模型的第一子模型和第二子模型執行以下迭代操作：根據樣本人體圖像以及第一子模型，確定三維姿態參數；根據三維姿態參數以及第二子模型，確定目標三維關節點；根據目標三維關節點以及標注二維關節點，調整第二子模型的參數。本實現方式可以通過利用訓練樣本對待訓練模型的兩個部分—第一子模型和第二子模型，進行端到端訓練，減小了訓練難度。

技術領域

本申請涉及計算機技術領域，具體涉及計算機視覺、增強現實、深度學習技術領域，尤其涉及模型訓練以及姿態預測方法、裝置、設備以及存儲介質。

背景技術

根據人體的圖像或視頻序列自動提取其中的人體姿態信息，是機器視覺領域的研究熱點之一。從攝像機系統拍攝的視頻信息或圖像信息，提取出人體的姿態，然后，根據姿態的變化對人體的行為進行分析和判斷。姿態預測具有巨大的應用潛力，例如將其應用于視頻監控設備中，可以幫助機器實現分析視頻內容的功能，從而能夠識別視頻中任務的異常行為或危險行為進而進行提示放置可以或危險行為的發生。

但現有的姿態預測方法面臨著訓練難度大的問題。

發明內容

提供了一種模型訓練以及姿態預測方法、裝置、設備以及存儲介質。

根據第一方面，提供了一種模型訓練方法，包括：獲取訓練樣本集合，訓練樣本包括樣本人體圖像和對應的標注二維關節點；根據訓練樣本，對待訓練模型的第一子模型和第二子模型執行以下迭代操作：根據樣本人體圖像以及第一子模型，確定三維姿態參數，第一子模型用于表征人體圖像與三維姿態參數的對應關系；根據三維姿態參數以及第二子模型，確定目標三維關節點，第二子模型用于表征三維姿態參數與三維關節點的對應關系；根據目標三維關節點以及標注二維關節點，調整第二子模型的參數。

根據第二方面，提供了一種姿態預測方法，包括：獲取目標人體圖像；根據目標人體圖像以及利用第一方面所描述的模型訓練方法訓練得到的模型，預測目標人體姿態參數。

根據第三方面，提供了一種模型訓練裝置，包括：樣本獲取單元，被配置成獲取訓練樣本集合，訓練樣本包括樣本人體圖像和對應的標注二維關節點；迭代單元，被配置成根據訓練樣本，利用以下模塊對待訓練模型的第一子模型和第二子模型執行迭代操作：第一確定模塊，被配置成根據樣本人體圖像以及第一子模型，確定三維姿態參數，第一子模型用于表征人體圖像與三維姿態參數的對應關系；第二確定模塊，被配置成根據三維姿態參數以及第二子模型，確定目標三維關節點，第二子模型用于表征三維姿態參數與三維關節點的對應關系；參數調整模塊，被配置成根據目標三維關節點以及標注二維關節點，調整第二子模型的參數。

根據第四方面，提供了一種姿態預測裝置，包括：圖像獲取單元，被配置成獲取目標人體圖像；姿態預測單元，被配置成根據目標人體圖像以及利用第一方面所描述的模型訓練方法訓練得到的模型，預測目標人體姿態參數。

根據第五方面，提供了一種模型訓練電子設備，包括：至少一個處理器；以及與所述至少一個處理器通信連接的存儲器；其中，存儲器存儲有可被至少一個處理器執行的指令，所述指令被至少一個處理器執行，以使至少一個處理器能夠執行如第一方面或第二方面所描述的方法。

根據第六方面，提供了一種存儲有計算機指令的非瞬時計算機可讀存儲介質，上述計算機指令用于使計算機執行如第一方面或第二方面所描述的方法。

根據本申請的技術解決了現有的姿態預測方法使用的模型訓練難度大的技術問題。通過利用訓練樣本對待訓練模型的兩個部分—第一子模型和第二子模型，進行端到端訓練，減小了訓練難度。

應當理解，本部分所描述的內容并非旨在標識本公開的實施例的關鍵或重要特征，也不用于限制本公開的范圍。本公開的其它特征將通過以下的說明書而變得容易理解。

附圖說明