[發(fā)明專利]一種基于深度圖的手指關(guān)節(jié)定位方法

有效

• 申請?zhí)枺?/td>: 201710001287.3
• 申請日: 2017-01-03
• 公開（公告）號: CN106709951B
• 公開（公告）日: 2019-10-18
• 發(fā)明（設(shè)計）人: 許勇;滕菲
• 申請（專利權(quán)）人: 華南理工大學(xué)
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T7/50;G06K9/00
• 代理公司: 廣州市華學(xué)知識產(chǎn)權(quán)代理有限公司 44245
• 代理人: 李斌

1.一種基于深度圖的手指關(guān)節(jié)定位方法，其特征在于，所述方法包括以下步驟：

步驟1、對輸入的深度圖進行預(yù)處理，去除噪聲，平滑圖像邊緣；

步驟2、利用手檢測方法，去除背景，得到只包含手的深度圖；

步驟3、計算整個手的幾何中心坐標(biāo)，同時輸入到包含深度特征和手幾何結(jié)構(gòu)的隱性回歸森林中，從根節(jié)點開始按階段遍歷每棵隱性回歸樹；

步驟4、對于每棵隱性回歸樹，遍歷特征節(jié)點，根據(jù)特征節(jié)點信息從深度圖中提取特征，判定進入特征節(jié)點的左分支或右分支，反復(fù)遍歷特征節(jié)點，直至到達該階段的回歸節(jié)點或葉子節(jié)點；

步驟5、對于每棵隱性回歸樹，遍歷回歸節(jié)點，根據(jù)回歸節(jié)點信息得到當(dāng)前隱關(guān)節(jié)的左右子關(guān)節(jié)坐標(biāo)；

步驟6、對于隱性回歸森林，聚合所有隱性回歸樹當(dāng)前階段包含同一隱關(guān)節(jié)的回歸節(jié)點，投票得到當(dāng)前隱關(guān)節(jié)的左右子關(guān)節(jié)新坐標(biāo)，并更新所有隱性回歸樹中左右子關(guān)節(jié)的坐標(biāo)，繼續(xù)并行向下遍歷節(jié)點的左右分支；

步驟7、對于葉子節(jié)點，根據(jù)葉子節(jié)點信息推斷出該葉子節(jié)點包含的手指關(guān)節(jié)坐標(biāo)，再通過所有隱性回歸樹中包含相同手指關(guān)節(jié)的葉子節(jié)點分別進行投票，得到全部手指關(guān)節(jié)的最終坐標(biāo)。

2.根據(jù)權(quán)利要求1所述的一種基于深度圖的手指關(guān)節(jié)定位方法，其特征在于，所述步驟3至步驟7的具體過程為：

1)所述步驟3中，首先計算手的初始幾何中心坐標(biāo)p₀輸入所有隱性回歸樹T；

2)所述步驟4中，根據(jù)第一階段的特征節(jié)點F1,從深度圖中提取特征，判定進入特征節(jié)點的左分支或右分支，直至到達第一階段的回歸節(jié)點R1；

3)所述步驟5中，根據(jù)第一階段的回歸節(jié)點R1,得到所有隱性樹的隱關(guān)節(jié)1,2的坐標(biāo)H₁,H₂，然后所述步驟6中，投票并統(tǒng)一更新所有隱性樹的隱關(guān)節(jié)坐標(biāo)后，繼續(xù)遍歷第二階段的特征節(jié)點F2；

4)根據(jù)第二階段的特征節(jié)點F2,繼續(xù)從深度圖中提取特征，判定進入節(jié)點的左分支或右分支，直至到達葉子節(jié)點1或第二階段的回歸節(jié)點R2；

5)所述步驟7中，根據(jù)所有隱性樹的葉子節(jié)點1,投票輸出手掌關(guān)節(jié)的坐標(biāo)S₁；

6)重復(fù)所述步驟5和6中，根據(jù)第二階段的回歸節(jié)點R2,投票更新所有隱性樹的隱關(guān)節(jié)3,4,5的坐標(biāo)H₃,H₄,H₅，繼續(xù)遍歷第三階段的特征節(jié)點F3；

7)重復(fù)所述步驟4中，根據(jù)第三階段的特征節(jié)點F3,繼續(xù)從深度圖中提取特征，判定進入特征節(jié)點的左分支或右分支，直至到達葉子節(jié)點2或第三階段的回歸節(jié)點R3；

8)重復(fù)所述步驟7，根據(jù)葉子節(jié)點2,投票輸出拇指關(guān)節(jié)1的坐標(biāo)S₂；

9)重復(fù)所述步驟5和6中，根據(jù)第三階段的回歸節(jié)點R3,投票更新所有隱性樹的隱關(guān)節(jié)6,7,8,9,10的坐標(biāo)H₆,H₇,H₈,H₉,H₁₀，繼續(xù)遍歷第四階段的特征節(jié)點F4；

10)重復(fù)所述步驟4中，根據(jù)第四階段的特征節(jié)點F4,繼續(xù)從深度圖中提取特征，判定進入特征節(jié)點的左分支或右分支，直至到達葉子節(jié)點3,4,5,6,7,8或第四階段的回歸節(jié)點R4；

11)重復(fù)所述步驟7，根據(jù)葉子節(jié)點3,4,5,6,7,8，分別投票輸出拇指關(guān)節(jié)2，拇指關(guān)節(jié)3，食指關(guān)節(jié)1，中指關(guān)節(jié)1，無名指關(guān)節(jié)1，小指關(guān)節(jié)1的坐標(biāo)S₃,S₄,S₅,S₆,S₇,S₈；

12)重復(fù)所述步驟5和6中，根據(jù)第四階段的回歸節(jié)點R4,投票更新所有隱關(guān)節(jié)11,12,13,14的坐標(biāo)H₁₁,H₁₂,H₁₃,H₁₄，繼續(xù)遍歷第五階段的特征節(jié)點F5；

13)重復(fù)所述步驟4中，根據(jù)第五階段的特征節(jié)點F5,繼續(xù)從深度圖中提取特征，判定進入特征節(jié)點的左分支或右分支，直至到達葉子節(jié)點9,10,11,12,13,14,15,16；

14)重復(fù)所述步驟7，根據(jù)葉子節(jié)點9,10,11,12,13,14,15,16，分別投票輸出食指關(guān)節(jié)2，食指關(guān)節(jié)3，中指關(guān)節(jié)2，中指關(guān)節(jié)3，無名指關(guān)節(jié)2，無名指關(guān)節(jié)2，小指關(guān)節(jié)2，小指關(guān)節(jié)3的坐標(biāo)S₉,S₁₀,S₁₁,S₁₂,S₁₃,S₁₄,S₁₅,S₁₆；

15)最后，根據(jù)所有隱性回歸樹的手指關(guān)節(jié)坐標(biāo)推斷出手指關(guān)節(jié)的最終位置。