[發明專利]一種三維人手關鍵點定位方法及裝置

在審

• 申請號: 202010034582.0
• 申請日: 2020-01-14
• 公開（公告）號: CN110852311A
• 公開（公告）日: 2020-02-28
• 發明（設計）人: 陳俊逸
• 申請（專利權）人: 長沙小鈷科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/34;G06K9/46;G06N3/04
• 代理公司: 長沙德恒三權知識產權代理事務所(普通合伙) 43229
• 代理人: 徐仰貴

1.一種三維人手關鍵點定位方法，其特征在于，包括：

獲取實際場景的深度圖像；

通過第一神經網絡對所述深度圖像進行手掌區域分割，得到分割后的手掌區域；

對所述手掌區域進行歸一化處理及尺寸變換，得到歸一化后的手掌區域的深度圖；

通過第二神經網絡判斷所述歸一化后的手掌區域的深度圖對應的實際場景中是否包含真人手掌；

若包含，則通過第三神經網絡預測所述歸一化后的手掌區域的深度圖的關鍵點坐標，并通過預測的所述歸一化后的手掌區域的深度圖的關鍵點坐標確定所述實際場景的深度圖像中的手掌的關鍵點坐標。

2.根據權利要求1所述的三維人手關鍵點定位方法，其特征在于，所述第一神經網絡為卷積神經網絡，所述通過第一神經網絡對所述深度圖像進行手掌區域分割，得到分割后的手掌區域，包括：

對所述深度圖像進行尺寸變換，得到固定尺寸的深度圖像；

將所述固定尺寸的深度圖像輸入到第一神經網絡，使用所述第一神經網絡對所述固定尺寸的深度圖像進行手掌區域分割；

對進行手掌區域分割后的所述固定尺寸的深度圖像進行去噪處理，得到分割后的手掌區域。

3.根據權利要求2所述的三維人手關鍵點定位方法，其特征在于，所述對進行手掌區域分割后的所述固定尺寸的深度圖像進行去噪處理，得到分割后的手掌區域，包括：

在分割后的所述固定尺寸的深度圖像中選擇第一起始點，從該起始點開始把附近與該起始點連通的像素點提取出來，保存到第一列表中，同時標記這些像素點為已處理；其中，該起始點的像素值與連通于該起始點的像素點的分割值相等；

在分割后的所述固定尺寸的深度圖像中的未處理的像素點中不斷尋找與所述第一列表中的點鄰接且分割值相同的點，加入到所述第一列表中，直到所有與所述第一起始點連通的像素點均被找到和標記為已處理，且加入到所述第一列表中；

在分割后的所述固定尺寸的深度圖像中的未處理的像素點中選擇第二起始點，并找到和標記所有與所述第二起始點連通的像素點，且加入第二列表中；

在分割后的所述固定尺寸的深度圖像中的未處理的像素點中選擇除所述第一起始點和第二起始點外的其它起始點，并找到和標記所有與所述其它起始點連通的像素點，直至分割后的所述固定尺寸的深度圖像中所有點均被標記為已處理，并得到多個列表，每個列表維護1個連通區域對應的所有像素點；

找到所有列表中像素點值為1且像素點數量最多的一個列表，并確定所述像素點值為1且像素點數量最多的一個列表對應的為手掌區域。

4.根據權利要求2所述的三維人手關鍵點定位方法，其特征在于，所述對所述手掌區域進行歸一化處理及尺寸變換，得到歸一化后的手掌區域的深度圖，包括：

選取所述手掌區域中所有像素點相對所述固定尺寸的深度圖像所對應的坐標系的橫縱坐標中的最大值和最小值，得到，并由所述橫縱坐標的最大值和最小值得到包含人手的矩形框的對角線位置坐標；其中，左上角位置坐標為()，右下角位置坐標為()；

通過所述矩形框對所述深度圖像進行裁剪，獲取所述手掌區域的深度圖，將所述手掌區域的深度值歸一化，并將所述手掌區域進行尺寸變換，得到歸一化后的固定大小的手掌區域的深度圖。

5.根據權利要求1所述的三維人手關鍵點定位方法，其特征在于，所述第二神經網絡為用于判斷獲取的所述深度圖像是否屬于惡意攻擊的防偽卷積神經網絡，所述通過第二神經網絡判斷所述歸一化后的手掌區域的深度圖對應的實際場景中是否包含真人手掌，包括：

將所述歸一化后的手掌區域的深度圖送入第二神經網絡中；

通過所述第二神經網絡得到判斷值，并通過所述判斷值判斷所述歸一化后的手掌區域的深度圖對應的實際場景中是否包含真人手掌；其中，所述第二神經網絡包括5個卷積層和3個全連接層，卷積層的卷積核大小均為3*3，輸出特征圖的數目分別為32,64,128,256,512,前三個卷積層后接降采樣層，降采樣窗口為3*3，所有卷積層后接線性整流函數ReLU，全連接層的節點數目分別為4096,1024,3，全連接層的前兩個全連接層后接Dropout函數，Dropout函數用于將輸出以預先設定概率隨機置零，以防止過擬合，全連接層的最后一層的3個節點表示3個類別，分別代表真人手掌、圖片攻擊、視頻攻擊。