[發明專利]一種深度圖像中基于二維關節信息的人手分割方法和裝置

有效

• 申請號: 202010332317.0
• 申請日: 2020-04-24
• 公開（公告）號: CN111709269B
• 公開（公告）日: 2022-11-15
• 發明（設計）人: 左德鑫;鄧小明;馬翠霞;王宏安
• 申請（專利權）人: 中國科學院軟件研究所
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V10/26;G06V10/774;G06V10/82;G06N3/04
• 代理公司: 北京君尚知識產權代理有限公司 11200
• 代理人: 邱曉鋒

1.一種深度圖像中基于二維關節信息的人手分割方法，其特征在于，包括以下步驟：

利用二維關節點檢測網絡獲得深度圖像中人手的二維關節點的位置；

利用二維關節點并結合深度圖像獲取人手的三維關鍵點；

利用三維關鍵點計算人手的三維有向包圍盒；

利用三維有向包圍盒過濾深度圖像，獲取分割好的人手區域；

所述利用二維關節點并結合深度圖像獲取人手的三維關鍵點，包括：

利用關節點的二維坐標J_2D計算最小包圍盒，裁剪出一片區域，計算其深度中值并記為d_avg；

利用在原圖上找出二維坐標最近鄰的像素點，獲得它的深度值其中i表示關節點的編號；

對于每一個點以其為中心，裁剪出一定大小的圖片區域，如果裁剪出的區域沒有深度值，則按一定比例擴大裁剪大小，直到有深度值為止；

對該區域的深度值進行k＝3的k-means聚類，對類中心的深度值進行排序，取排在中間的類中心的深度值作為深度值最接近的點記為

如果表示的取值是一個噪聲深度值，用代替用代替作為dⁱ，否則直接作為dⁱ；

三維關鍵點即把dⁱ拼接到二維關節點上。

2.根據權利要求1所述的方法，其特征在于，所述二維關節點檢測網絡的主體為沙漏網絡，利用沙漏網絡的卷積和下采樣提取全局信息和深層的特征，再通過卷積和上采樣解碼出所需要的輸出，通過加入跳躍連接保證解碼出的特征既包含深層語義信息又包含淺層形態特征。

3.根據權利要求1所述的方法，其特征在于，所述二維關節點檢測網絡在訓練時，首先對訓練數據進行預處理，包括縮放到標準大小，歸一化，以及獲取熱度圖標簽；所述二維關節點檢測網絡利用預處理之后的圖像作為輸入，獲取二維關節點的具體位置；所述二維關節點檢測網絡的輸出為一張熱度圖像；所述二維關節點檢測網絡的損失函數為：

其中，H_pred是網絡輸出的熱度圖，H_GT是真實的熱度圖，H、W、J分別表示輸出圖片的高度、寬度和通道數，u表示熱度圖上某像素的橫坐標，v表示熱度圖上某像素的縱坐標，j表示通道的編號。

4.根據權利要求3所述的方法，其特征在于，所述二維關節點檢測網絡的輸出是J個通道的熱度圖，每個通道對應一個類別的關節點，每個像素包含了一個標量值，反映像素點作為第J類關節點的概率，用概率最大的點的位置作為關節點的坐標，二維關節點坐標(u,v)_j的計算方式為：

其中，u表示熱度圖上某像素的橫坐標，v表示熱度圖上某像素的縱坐標，j表示通道的編號，s為經過網絡之后圖像縮小的比例。

5.根據權利要求1所述的方法，其特征在于，所述利用二維關節點并結合深度圖像獲取人手的三維關鍵點，包括：估計二維關節點鄰近區域的有效深度值，二維關節點結合有效深度值完成二維關節點到三維關鍵點的轉換；計算有效深度值時利用高斯混合模型估計前景深度值、背景深度值、被分割實體深度值的分布情況，用來排除噪聲深度值的干擾。

6.根據權利要求1所述的方法，其特征在于，所述三維有向包圍盒，其主軸方向通過三維關鍵點的主成分分析獲取，其長度為三維關鍵點在主軸上的投影的相應比例；利用三維有向包圍盒過濾深度圖時，在原始深度圖的每個像素點上判斷其是否在盒的內部，通過GPU并行計算來加速。

7.一種采用權利要求1-6中任一項所述方法的深度圖像中基于二維關節信息的人手分割裝置，其特征在于，包括：

二維關節點檢測模塊，負責構建二維關節點檢測網絡，并利用二維關節點檢測網絡獲得深度圖像中人手的二維關節點的位置；

關鍵點獲取模塊，負責利用二維關節點并結合深度圖像獲取人手的三維關鍵點；

包圍盒計算模塊，負責利用三維關鍵點計算人手的三維有向包圍盒；

人手分割模塊，負責利用三維有向包圍盒過濾深度圖像，獲取分割好的人手區域。