[發明專利]基于神經網絡結構搜索的三維人體姿態估計方法及系統

在審

• 申請號: 202010916633.2
• 申請日: 2020-09-03
• 公開（公告）號: CN112016494A
• 公開（公告）日: 2020-12-01
• 發明（設計）人: 王亮;黃巖;陳澤睿;王海濱;單彩峰
• 申請（專利權）人: 中科人工智能創新技術研究院（青島）有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 董雪

本發明公開了一種基于神經網絡結構搜索的三維人體姿態估計方法及系統，包括：獲取目標圖像，提取所述目標圖像的關節點信息；將所述關節點信息輸入到訓練好的三維人體姿態估計器，輸出目標圖像中各關節點在三維空間中的位置信息，完成人體姿態估計；其中，所述三維人體姿態估計器分別采用不同的神經網絡結構對各關節點在三維空間中的位置進行預估。本發明將傳統的三維人體姿態估計方法從單一神經網絡結構推廣到利用不同網絡結構估計不同的人體關節位置；從而能夠更精確地估計三維人體姿態。

技術領域

本發明涉及模式識別與機器學習技術領域，尤其涉及一種基于神經網絡結構搜索的三維人體姿態估計方法及系統。

背景技術

本部分的陳述僅僅是提供了與本發明相關的背景技術信息，不必然構成在先技術。

三維人體姿態估計廣泛存在于現實生活的各個方面。例如，在機器人領域中，人體可以通過變換姿勢來操控遠方的機器人。在虛擬現實中，可以根據給定的三維人體姿勢來控制虛擬動畫人物的動作。三維人體姿態估計要求我們根據給定圖像計算人體關鍵點在三維空間中的位置。

傳統的二維人體姿態估計問題是三維人體姿態估計的特例，其只需要估計人體關鍵點在二維平面內的坐標。然而相對于估計關鍵點在二維平面內的坐標，計算人體關鍵點在三維空間中的位置將不可避免的增加了解決問題的難度。傳統的解決方法是通過全卷積的神經網絡去回歸關鍵點的三維熱圖,參照圖1(a)。

然而這種方法只使用一種神經網絡結構去估計人體所有關鍵點的坐標，并沒有考慮人體不同部位形狀，運動模式等不同之處，從而并沒有完全挖掘出模型的表達能力，導致估計結果不夠準確。

發明內容

為了解決上述問題，本發明提出了一種基于神經網絡結構搜索的三維人體姿態估計方法及系統，用神經網絡結構搜索的方法為人體每一組關節點分配一種神經網絡結構，對人體的不同關節點進行針對性地優化，能夠提高三維人體姿態估計的精度。

在一些實施方式中，采用如下技術方案：

一種基于神經網絡結構搜索的三維人體姿態估計方法，包括：

獲取目標圖像，提取所述目標圖像的關節點信息；

將所述關節點信息輸入到訓練好的三維人體姿態估計器，輸出目標圖像中各關節點在三維空間中的位置信息，完成人體姿態估計；

其中，所述三維人體姿態估計器分別采用不同的神經網絡結構對各關節點在三維空間中的位置進行預估。

在另一些實施方式中，采用如下技術方案：

一種基于神經網絡結構搜索的三維人體姿態估計系統，包括：

特征提取模塊，用于獲取目標圖像，提取所述目標圖像的關節點信息；

特征識別模塊，用于將所述關節點信息輸入到訓練好的三維人體姿態估計器，輸出目標圖像中各關節點在三維空間中的位置信息，完成人體姿態估計；

其中，所述三維人體姿態估計器分別采用不同的神經網絡結構對各關節點在三維空間中的位置進行預估。

在另一些實施方式中，采用如下技術方案：

一種終端設備，包括服務器，所述服務器包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執行所述程序時實現上述的任一項基于神經網絡結構搜索的三維人體姿態估計方法。

一種計算機可讀存儲介質，其中存儲有多條指令，所述指令適于由終端設備的處理器加載并執行上述的任一項基于神經網絡結構搜索的三維人體姿態估計方法。

與現有技術相比，本發明的有益效果是：