[發明專利]手部關節點檢測方法、裝置及存儲介質

有效

• 申請號: 201811238319.2
• 申請日: 2018-10-23
• 公開（公告）號: CN109635630B
• 公開（公告）日: 2023-09-01
• 發明（設計）人: 沈輝;高原;劉霄;李旭斌;孫昊;文石磊;丁二銳
• 申請（專利權）人: 百度在線網絡技術（北京）有限公司
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V40/20
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 朱穎;劉芳

本申請提供一種手部關節點檢測方法、裝置及存儲介質，其中，該方法包括：通過人手檢測算法從待檢測圖像中截取手部圖像，將該手部圖像輸入卷積神經網絡進行關節點預測，得到該手部圖像中的手部關節點的位置，根據該手部關節點的位置以及手部關節點的約束條件，通過預設的級聯結構對所述手部關節點的位置進行優化，輸出對該待檢測圖像中的所有手部關節點的檢測結果。該技術方案實現了待檢測圖像中手部關節點的準確定位，解決了現有技術中手部關節點定位不準確的問題。

技術領域

本申請涉及圖像識別技術領域，尤其涉及一種手部關節點檢測方法、裝置及存儲介質。

背景技術

手勢在人們生活中扮演著重要的角色，人與人交流會用到手勢，聾啞人也會使用手勢與其他人進行交流，而且，手勢識別在人機交互、虛擬現實和模擬游戲等應用場景中也具有非常大的潛在應用場景。由于手部關節點可以輔助確定手勢，因而，如何檢測和定位手部關節點對手勢確認和手勢識別具有重要的意義。

現有技術中，主要基于RGB-D方法來獲取手部關節點的位置信息。具體的，利用深度攝像頭采集包括手部的圖片，對該圖片進行處理，得到RGB色彩模式的深度圖片，進而根據該RGB色彩模式的深度圖片獲取手部關節點的位置信息，從而在一定程度上還原人手的空間信息，簡化了手勢識別問題。其中，RGB-D圖片是指具有RGB(紅(red)、綠(green)、藍(blue))色彩模式和深度圖(depth?map)特征的圖片。

然而，在RGB-D方法中，由于深度攝像頭的成本高、有效距離短，若手部離深度攝像頭距離較遠，手勢識別的效果差，導致手部關節點的定位不準確。

發明內容

本申請提供一種手部關節點檢測方法、裝置及存儲介質，以克服現有技術中手部關節點定位不準確的問題。

本申請第一方面提供的一種手部關節點檢測方法，包括：

通過人手檢測算法從待檢測圖像中截取手部圖像；

將所述手部圖像輸入卷積神經網絡進行關節點預測，得到所述手部圖像中的手部關節點的位置；

根據所述手部關節點的位置以及手部關節點的約束條件，通過預設的級聯結構對所述手部關節點的位置進行優化，輸出對所述待檢測圖像中的所有手部關節點的檢測結果。

可選的，在第一方面的一種可能實現方式中，所述通過人手檢測算法從待檢測圖像中截取手部圖像，包括：

根據所述人手檢測算法，確定所述待檢測圖像中的人手位置；

對所述人手位置所在的區域進行裁切，得到所述手部圖像。

可選的，在第一方面的另一種可能實現方式中，所述將所述手部圖像輸入卷積神經網絡進行關節點預測，得到所述手部圖像中的手部關節點的位置，包括：

對所述手部圖像進行歸一化處理；

采用兩個連續的沙漏模型對歸一化處理后的手部圖像進行關節點預測，得到位置預測結果，所述位置預測結果包括所述手部關節點的位置；其中，所述卷積神經網絡包括所述兩個連續的沙漏模型。

可選的，在第一方面的上述可能實現方式中，所述位置預測結果還包括：每個手部關節點對應的熱度圖，手部關節點的熱度圖用于表示所述手部關節點出現在對應位置的置信度。

可選的，在第一方面的再一種可能實現方式中，所述根據所述手部關節點的位置以及手部關節點的約束條件，通過預設的級聯結構對所述手部關節點的位置進行優化，輸出對所述待檢測圖像中的所有手部關節點的檢測結果，包括：

根據所述手部關節點的約束條件，將所述手部關節點的位置輸入所述級聯結構中的第一階段結構得到預測結果；