[發明專利]手部關節點檢測方法、裝置及存儲介質

有效

• 申請號: 201811238319.2
• 申請日: 2018-10-23
• 公開（公告）號: CN109635630B
• 公開（公告）日: 2023-09-01
• 發明（設計）人: 沈輝;高原;劉霄;李旭斌;孫昊;文石磊;丁二銳
• 申請（專利權）人: 百度在線網絡技術（北京）有限公司
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V40/20
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 朱穎;劉芳

1.一種手部關節點檢測方法，其特征在于，包括：

通過人手檢測算法從待檢測圖像中截取手部圖像；

將所述手部圖像輸入卷積神經網絡進行關節點預測，得到所述手部圖像中的手部關節點的位置；

根據所述手部關節點的位置以及手部關節點的約束條件，通過預設的級聯結構對所述手部關節點的位置進行優化，輸出對所述待檢測圖像中的所有手部關節點的檢測結果；

其中，所述通過人手檢測算法從待檢測圖像中截取手部圖像，包括：

根據所述人手檢測算法，確定所述待檢測圖像中的人手位置；

對所述人手位置所在的區域進行裁切，得到手部圖像；

所述將所述手部圖像輸入卷積神經網絡進行關節點預測，得到所述手部圖像中的手部關節點的位置，包括：

對所述手部圖像進行歸一化處理；

采用兩個連續的沙漏模型對歸一化處理后的手部圖像進行關節點預測，得到位置預測結果，所述位置預測結果包括手部關節點的位置；其中，所述卷積神經網絡包括所述兩個連續的沙漏模型；

所述根據所述手部關節點的位置以及手部關節點的約束條件，通過預設的級聯結構對所述手部關節點的位置進行優化，輸出對所述待檢測圖像中的所有手部關節點的檢測結果，包括：

根據所述手部關節點的約束條件，將所述手部關節點的位置輸入級聯結構中的第一階段結構得到預測結果；

將所述預測結果輸入下一階段結構中進行優化得到新的預測結果，并重復本步驟，直至所述級聯結構的最后一個階段結構輸出對所述待檢測圖像中的所有手部關節點的檢測結果。

2.根據權利要求1所述的方法，其特征在于，所述位置預測結果還包括：每個手部關節點對應的熱度圖，手部關節點的熱度圖用于表示所述手部關節點出現在對應位置的置信度。

3.根據權利要求1所述的方法，其特征在于，所述級聯結構包括六個階段的優化結構。

4.一種手部關節點檢測裝置，其特征在于，包括：獲取模塊、處理模塊和輸出模塊；

所述獲取模塊，用于通過人手檢測算法從待檢測圖像中截取手部圖像；

所述處理模塊，用于將所述手部圖像輸入卷積神經網絡進行關節點預測，得到所述手部圖像中的手部關節點的位置；

所述輸出模塊，用于根據所述手部關節點的位置以及手部關節點的約束條件，通過預設的級聯結構對所述手部關節點的位置進行優化，輸出對所述待檢測圖像中的所有手部關節點的檢測結果；

其中，所述獲取模塊，具體用于根據所述人手檢測算法，確定所述待檢測圖像中的人手位置，對所述人手位置所在的區域進行裁切，得到所述手部圖像；

所述處理模塊，具體用于對所述手部圖像進行歸一化處理，采用兩個連續的沙漏模型對歸一化處理后的手部圖像進行關節點預測，得到位置預測結果，所述位置預測結果包括所述手部關節點的位置；其中，所述卷積神經網絡包括所述兩個連續的沙漏模型；

所述輸出模塊，具體用于根據所述手部關節點的約束條件，將所述手部關節點的位置輸入所述級聯結構中的第一階段結構得到預測結果，將所述預測結果輸入下一階段結構中進行優化得到新的預測結果，并重復本步驟，直至所述級聯結構的最后一個階段結構輸出對所述待檢測圖像中的所有手部關節點的檢測結果。

5.根據權利要求4所述的裝置，其特征在于，所述位置預測結果還包括：每個手部關節點對應的熱度圖，手部關節點的熱度圖用于表示所述手部關節點出現在對應位置的置信度。

6.根據權利要求4所述的裝置，其特征在于，所述級聯結構包括六個階段的優化結構。

7.一種手部關節點檢測裝置，包括處理器、存儲器及存儲在所述存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執行所述程序時實現如上述權利要求1-3任一項所述的方法。

8.一種存儲介質，其特征在于，所述存儲介質中存儲有指令，當其在計算機上運行時，使得計算機執行如權利要求1-3任一項所述的方法。