[發(fā)明專利]手勢關(guān)鍵點檢測方法、裝置、計算機設(shè)備和存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 201911413461.0
• 申請日: 2019-12-31
• 公開（公告）號: CN111160288A
• 公開（公告）日: 2020-05-15
• 發(fā)明（設(shè)計）人: 趙突
• 申請（專利權(quán)）人: 北京奇藝世紀(jì)科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京華夏泰和知識產(chǎn)權(quán)代理有限公司 11662
• 代理人: 張麗穎;劉蔓莉

1.一種手勢關(guān)鍵點檢測方法，其特征在于，所述方法包括：

獲取待檢測圖像，所述待檢測圖像中包含手勢特征；

通過已訓(xùn)練的手勢檢測模型提取所述待檢測圖像中的手勢特征，輸出所述手勢特征所在的區(qū)域，得到至少一個目標(biāo)區(qū)域；

通過已訓(xùn)練的關(guān)鍵點回歸模型提取各個所述目標(biāo)區(qū)域中的關(guān)鍵點的特征，輸出各個所述目標(biāo)區(qū)域的關(guān)鍵點的位置信息，所述已訓(xùn)練的手勢檢測模型和所述已訓(xùn)練的關(guān)鍵點回歸模型是單獨訓(xùn)練得到的。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，生成所述已訓(xùn)練的關(guān)鍵點回歸模型，包括：

獲取多個訓(xùn)練圖像，所述訓(xùn)練圖像攜帶手勢對應(yīng)的多個關(guān)鍵點位置信息；

輸入各個所述訓(xùn)練圖像至關(guān)鍵點回歸模型，輸出各個所述關(guān)鍵點的預(yù)測位置信息；

根據(jù)各個所述關(guān)鍵點的位置信息和預(yù)測位置信息的差異度，計算所述關(guān)鍵點回歸模型的損失值；

當(dāng)所述損失值位于預(yù)設(shè)損失值區(qū)間時，得到所述已訓(xùn)練的關(guān)鍵點回歸模型。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述方法還包括：

當(dāng)所述損失值不位于所述預(yù)設(shè)損失值區(qū)間時，根據(jù)所述損失值更新所述關(guān)鍵點回歸模型的模型參數(shù)，得到中間關(guān)鍵點回歸模型；

執(zhí)行輸入各個所述訓(xùn)練圖像至所述中間關(guān)鍵點回歸模型，直至所述中間關(guān)鍵點回歸模型的損失值位于所述預(yù)設(shè)損失值區(qū)間時，得到所述已訓(xùn)練的關(guān)鍵點回歸模型。

4.根據(jù)權(quán)利要求1至3中任一項所述的方法，其特征在于，所述已訓(xùn)練的關(guān)鍵點回歸模型包括卷積層、池化層和回歸層，所述通過已訓(xùn)練的關(guān)鍵點回歸模型提取各個所述目標(biāo)區(qū)域中的關(guān)鍵點的特征，輸出各個所述目標(biāo)區(qū)域的關(guān)鍵點的位置信息，包括：

輸入各個所述目標(biāo)區(qū)域至所述卷積層，通過所述卷積層中的卷積核對各個所述目標(biāo)區(qū)域執(zhí)行卷積運算，得到各個所述目標(biāo)區(qū)域?qū)?yīng)的卷積特征圖；

輸入各個所述卷積特征圖至所述池化層，通過所述池化層執(zhí)行池化運算，得到對應(yīng)的池化特征圖；

輸入各個所述池化特征圖至所述回歸層，回歸出各個所述目標(biāo)區(qū)域關(guān)鍵點的位置信息。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述回歸層包括至少一個全連接層。

6.一種手勢關(guān)鍵點檢測裝置，其特征在于，所述裝置包括：

數(shù)據(jù)獲取模塊，用于獲取待檢測圖像，所述待檢測圖像中包含手勢特征；

區(qū)域檢測檢測模塊，用于通過已訓(xùn)練的手勢檢測模型提取所述待檢測圖像中的手勢特征，輸出所述手勢特征所在的區(qū)域，得到至少一個目標(biāo)區(qū)域；

關(guān)鍵點檢測模塊，用于通過已訓(xùn)練的關(guān)鍵點回歸模型提取各個所述目標(biāo)區(qū)域中的關(guān)鍵點的特征，輸出各個所述目標(biāo)區(qū)域的關(guān)鍵點的位置信息，所述已訓(xùn)練的手勢檢測模型和所述已訓(xùn)練的關(guān)鍵點回歸模型是單獨訓(xùn)練得到的。

7.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述裝置包括：

模型生成模塊，用于生成所述已訓(xùn)練的關(guān)鍵點回歸模型，其中所述模型生成模塊，包括：

數(shù)據(jù)獲取單元，用于獲取多個訓(xùn)練圖像，所述訓(xùn)練圖像攜帶手勢對應(yīng)的多個關(guān)鍵點位置信息；

預(yù)測單元，用于輸入各個所述訓(xùn)練圖像至關(guān)鍵點回歸模型，輸出各個所述關(guān)鍵點的預(yù)測位置信息；

損失值計算單元，用于根據(jù)各個所述關(guān)鍵點的位置信息和預(yù)測位置信息的差異度，計算所述關(guān)鍵點回歸模型的損失值；

模型生成單元，用于當(dāng)所述損失值位于預(yù)設(shè)損失值區(qū)間時，得到所述已訓(xùn)練的關(guān)鍵點回歸模型。

8.根據(jù)權(quán)利要求6或7所述的裝置，其特征在于，所述關(guān)鍵點檢測模塊具體用于輸入各個所述目標(biāo)區(qū)域至所述卷積層，通過卷積層中的卷積核對各個所述目標(biāo)區(qū)域執(zhí)行卷積運算，得到各個所述目標(biāo)區(qū)域?qū)?yīng)的卷積特征圖，輸入各個所述卷積特征圖至池化層，通過所述池化層執(zhí)行池化運算，得到對應(yīng)的池化特征圖，輸入各個所述池化特征圖至回歸層，回歸出各個所述目標(biāo)區(qū)域關(guān)鍵點的位置信息，其中所述已訓(xùn)練的關(guān)鍵點回歸模型包括所述卷積層、所述池化層和所述回歸層。