[發明專利]用于圖像處理的方法、裝置、設備、介質和程序產品

在審

• 申請號: 202011414770.2
• 申請日: 2020-12-04
• 公開（公告）號: CN112541418A
• 公開（公告）日: 2021-03-23
• 發明（設計）人: 余永佳;李國洪;張柳清
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 趙林琳;彭夢曄

1.一種用于圖像處理的方法，包括：

獲取圖像幀；

確定所述圖像幀中目標手部的存在性和與所述目標手部的手指相關聯的多個目標關鍵點；

如果所述圖像幀中存在所述目標手部，利用所述多個目標關鍵點，確定所述圖像幀中包含所述多個目標關鍵點的跟蹤范圍；以及

基于所述跟蹤范圍，跟蹤所述目標手部。

2.根據權利要求1所述的方法，其中所述目標手部的所述存在性和所述多個目標關鍵點的確定由經訓練的圖像處理模型執行。

3.根據權利要求2所述的方法，其中所述經訓練的圖像處理模型是基于與手部相關聯的訓練圖像幀以及所述訓練圖像幀中存在手部的置信度被訓練的。

4.根據權利要求2所述的方法，其中確定所述目標手部的所述存在性和所述多個目標關鍵點包括：

確定所述圖像幀中與所述目標手部相關聯的第一子圖像幀，所述第一子圖像幀是所述圖像幀的一部分；以及

將所述第一子圖像幀應用于所述經訓練的圖像處理模型，以確定所述第一子圖像幀中是否存在所述目標手部和所述多個目標關鍵點。

5.根據權利要求4所述的方法，其中確定所述第一子圖像幀包括：

確定是否存在與所述圖像幀相關聯的先前跟蹤范圍，所述先前跟蹤范圍基于所述圖像幀的先前圖像幀被確定并且包含與所述先前圖像幀中的手部相關聯的多個關鍵點；以及

如果存在所述先前跟蹤范圍，從所述圖像幀中裁切出與所述先前跟蹤范圍相對應的部分作為所述第一子圖像幀。

6.根據權利要求4所述的方法，還包括：

如果不存在與所述圖像幀相關聯的先前跟蹤范圍，利用手掌檢測模型，確定包含所述目標手部的手掌的候選子圖像范圍；

將所述候選子圖像范圍縮放第一預定倍數，以使得經縮放的候選子圖像范圍能夠包含所述目標手部；以及

從所述圖像幀中裁切出與所述經縮放的候選子圖像范圍相對應的部分作為所述第一子圖像幀。

7.根據權利要求1所述的方法，其中確定所述圖像幀中包含所述多個目標關鍵點的跟蹤范圍包括：

確定包含所述多個目標關鍵點的候選跟蹤范圍；以及

將所述候選跟蹤范圍縮放第二預定倍數作為所述跟蹤范圍。

8.根據權利要求7所述的方法，其中將所述候選跟蹤范圍縮放所述第二預定倍數作為所述跟蹤范圍包括：

將所述候選跟蹤范圍縮放所述第二預定倍數；

將經縮放的候選跟蹤范圍與閾值范圍進行比較；以及

如果所述經縮放的候選跟蹤范圍沒有超過所述閾值范圍，將所述候選跟蹤范圍作為所述跟蹤范圍。

9.根據權利要求1所述的方法，其中所述方法在終端設備處被實現。

10.一種圖像處理裝置，包括：

獲取模塊，被配置為獲取圖像幀；

第一確定模塊，被配置為確定所述圖像幀中目標手部的存在性和與所述目標手部的手指相關聯的多個目標關鍵點；

第二確定模塊，被配置為如果所述圖像幀中存在所述目標手部，利用所述多個目標關鍵點，確定所述圖像幀中包含所述多個目標關鍵點的跟蹤范圍；以及

跟蹤模塊，被配置為基于所述跟蹤范圍，跟蹤所述目標手部。

11.根據權利要求10所述的裝置，其中所述目標手部的所述存在性和所述多個目標關鍵點的確定由經訓練的圖像處理模型執行。

12.根據權利要求11所述的裝置，其中所述經訓練的圖像處理模型是基于與手部相關聯的訓練圖像幀以及所述訓練圖像幀中存在手部的置信度被訓練的。