[發明專利]一種面向虛擬現實的基于單深度圖的人體關節點識別方法

有效

• 申請號: 201810312359.0
• 申請日: 2018-04-09
• 公開（公告）號: CN108734194B
• 公開（公告）日: 2021-08-03
• 發明（設計）人: 盧書芳;蔡歷;丁雪峰;高飛;毛家發
• 申請（專利權）人: 浙江工業大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/46;G06K9/00;G06N3/04
• 代理公司: 杭州天勤知識產權代理有限公司 33224
• 代理人: 馬士林

1.一種面向虛擬現實的基于單深度圖的人體關節點識別方法，其特征在于，包括以下步驟：

(1)搭建五區域卷積神經網絡模型，所述五區域卷積神經網絡模型包括多個不同的卷積層、激活層、池化層和全連接層；

(2)選取訓練集，并設置五區域卷積神經網絡模型的訓練參數；

(3)根據五區域卷積神經網絡模型及其訓練參數，以最小化損失函數為目標訓練模型，得到深度圖像手勢估計神經網絡模型；所述五區域卷積神經網絡模型的訓練過程為：

(3-1)根據手部二值圖像檢測并繪制其外部輪廓，求出輪廓的封閉多邊形并確定封閉多邊形的中心；

(3-2)以該中心為中心提取一個立方體，將立方體重新調整大小，深度值歸一化為[-1,1]作為ConvNet的輸入；

(3-3)深度值歸一化后的圖像作為輸入，先進入網絡通過六個卷積層進行特征提取，將輸出特征映射到五個特征區域：R₁,R₂,R₃,R₄,R₅，其中，R₁-R₄分別為以圖像四個頂點為頂點且沿著特征圖邊緣提取的固定大小區域，R₅為以圖像中心為區域中心提取的同樣大小區域，以圖像中心為區域中心，五個特征區域作為分支，分別饋送到兩個全連接層進行回歸，每個回歸器的丟失率為0.5；

(3-4)訓練使用最小批量為128的隨機梯度下降，使用0.0005的重量衰減和0.9的動量，學習率從0.005開始，每5萬次迭代后除以10，模型訓練達到200000次迭代；

(4)利用深度攝像機獲取實時的深度圖像幀，并對圖像幀預處理；

(5)利用人體形態模型對經過預處理的圖像幀進行分割，提取出獨立的人體區域，通過人體骨骼識別模型識別人體關節點坐標；

(6)利用手部模型分類器，在每個獨立的人體區域上檢測手部區域；若能夠檢測出手部區域，則執行步驟(7)，若檢測不到，則跳轉至步驟(4)；

(7)通過步驟(3)的手勢估計神經網絡模型得到手勢關節點坐標；

(8)通過深度攝像機的參數，將步驟(5)與步驟(7)返回的關節點坐標從圖像坐標系轉換到物理坐標系，并最終映射三維人體模型。

2.根據權利要求1所述的面向虛擬現實的基于單深度圖的人體關節點識別方法，其特征在于，步驟(1)中，所述五區域卷積神經網絡模型由6個具有3×3內核的卷積層和3個2×2內核的池化層組成，每個卷積層后面跟著一個ReLU激活，兩個池化層之間通過殘差連接以增加特征圖尺寸。

3.根據權利要求1所述的面向虛擬現實的基于單深度圖的人體關節點識別方法，其特征在于，步驟(2)中，所述的訓練集為公開數據集NYU。

4.根據權利要求1所述的面向虛擬現實的基于單深度圖的人體關節點識別方法，其特征在于，步驟(4)中，所述的預處理具體步驟為：對實時深度圖像幀進行中值濾波處理，然后進行圖像前景提取操作，最后進行膨脹與腐蝕操作。

5.根據權利要求4所述的面向虛擬現實的基于單深度圖的人體關節點識別方法，其特征在于，所述中值濾波處理的公式為：

D₂(x,y)＝med{D₁(x-k,y-l)} (k,l∈W)

其中，D₂(x,y)為濾波處理后的深度圖像，D₁(x,y)為原始圖像，(x,y)為坐標處的深度值，W代表二維濾波模板，k表示模板的長度，l表示模板的寬度。

6.根據權利要求4所述的面向虛擬現實的基于單深度圖的人體關節點識別方法，其特征在于，所述圖像前景提取操作的公式為：

其中，f_g(x,y)表示前景圖像中(x,y)處的邏輯值，d(x,y)表示深度圖像(x,y)坐標處的深度值。