[發明專利]手部關鍵點檢測的方法、設備和計算機設備

在審

• 申請號: 202010211811.1
• 申請日: 2020-03-24
• 公開（公告）號: CN111523387A
• 公開（公告）日: 2020-08-11
• 發明（設計）人: 林健;周志敏;劉海偉;叢林
• 申請（專利權）人: 杭州易現先進科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州華進聯浙知識產權代理有限公司 33250
• 代理人: 金無量

本申請涉及一種手部關鍵點檢測的方法、設備和計算機設備，其中，關鍵點檢測的方法包括：通過獲取圖像集合，根據圖像集合中手部關鍵點的真實位置標簽，生成手部關鍵點的掩碼，其中，手部關鍵點分類為指尖點和掌心點，根據圖像集合的特征圖，解析手部關鍵點的關鍵點識別信息，根據掩碼和關鍵點識別信息，得到手部關鍵點的預測位置標簽值，根據預測位置標簽值和真實位置標簽，對手部關鍵點進行損失函數回歸，得到手部關鍵點檢測模型，通過手部關鍵點檢測模型進行手部關鍵點檢測，解決了相關技術中依賴于有序排列的關鍵點進行姿態估計的方法，成本較高的問題，提高了手部關鍵點檢測的場景適應性，降低了手部關鍵點檢測的成本。

技術領域

本申請涉及計算機視覺領域，特別是涉及手部關鍵點檢測的方法、設備和計算機設備。

背景技術

隨著人機交互技術的發展，人機交互方式如鍵盤、鼠標、觸屏等在許多新興領域已經難以滿足用戶的要求，在增強現實(Augmented Reality，簡稱為AR)等遠程操控場景下，用戶更傾向于使用無線的、非接觸式的方式實現人機交互。另一方面，基于計算機視覺技術的交互技術可以讓用戶擺脫繁雜的交互設備，利用特定的身體動作向機器發出指令，方便快捷，所以計算機視覺技術的發展滿足了用戶使用無線的、非接觸式的方式實現人機交互的要求。

在相關技術中，對關鍵點的姿態估計是通過依照預設的先后順序進行關鍵點的篩選和依次連接實現的，這種進行關鍵點的預測和聚合的方法依賴于關鍵點的有序排列，可以識別手指具體為拇指、食指或者中指等等，然而，基于有序關鍵點進行關鍵點檢測的方法，檢測模型訓練更為困難，數據采集與標注過程更為費力，成本較高，而且在實際使用過程中，通常不需要識別進行點擊的手指為食指或者中指，因此基于有序關鍵點進行關鍵點檢測的方法容易造成浪費。

目前針對相關技術中依賴于有序排列的關鍵點進行姿態估計的方法，成本較高的問題，尚未提出有效的解決方案。

發明內容

本申請實施例提供了一種手部關鍵點檢測的方法、設備、計算機設備和計算機可讀存儲介質，以至少解決相關技術中依賴于有序排列的關鍵點進行姿態估計的方法，成本較高的問題。

第一方面，本申請實施例提供了一種手部關鍵點檢測的方法，所述方法包括：

獲取圖像集合，根據所述圖像集合中手部關鍵點的真實位置標簽，生成所述手部關鍵點的掩碼，其中，所述手部關鍵點分類為指尖點和掌心點；

根據所述圖像集合的特征圖，解析所述手部關鍵點的關鍵點識別信息，根據所述掩碼和所述關鍵點識別信息，得到所述手部關鍵點的預測位置標簽值；

根據所述預測位置標簽值和所述真實位置標簽，對所述手部關鍵點進行損失函數回歸，得到手部關鍵點檢測模型，通過所述手部關鍵點檢測模型進行手部關鍵點檢測。

在其中一些實施例中，所述得到所述手部關鍵點的預測位置標簽值包括：

通過所述手部關鍵點的絕對位置信息，調整所述預測位置標簽值。

在其中一些實施例中，獲取所述手部關鍵點的絕對位置信息包括：

由網格圖得到所述絕對位置信息，其中，所述網格圖提供網格點坐標。

在其中一些實施例中，獲取所述手部關鍵點的絕對位置信息包括：

由偏移圖得到所述絕對位置信息，其中，根據所述偏移圖與所述預測位置標簽值的乘積，調整所述預測位置標簽值。

在其中一些實施例中，所述通過所述手部關鍵點檢測模型進行手部關鍵點檢測包括：

通過所述手部關鍵點模型，獲取待檢測圖像的掌心點和指尖點；

以所述掌心點為基準，根據所述掌心點和所述指尖點的標簽值，將所述掌心點與所述指尖點進行聚合，其中，所述掌心點與所述指尖點的標簽值對應。