[發明專利]關鍵點檢測方法和裝置

有效

• 申請號: 201811474069.2
• 申請日: 2018-12-04
• 公開（公告）號: CN109598234B
• 公開（公告）日: 2021-03-23
• 發明（設計）人: 楊思遠;曲曉超;姜浩;閆帥;張偉
• 申請（專利權）人: 深圳美圖創新科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 北京超凡志成知識產權代理事務所(普通合伙) 11371
• 代理人: 逯恒

1.一種關鍵點檢測方法，應用于移動終端，其特征在于，所述關鍵點檢測方法包括特征檢測過程，該特征檢測過程包括：

將視頻信息中的當前幀圖像作為人體檢測器的輸入，以計算并輸出用于對所述當前幀圖像進行剪裁的人體檢測框以及所述當前幀圖像中的姿態概率值；

根據所述人體檢測框對所述當前幀圖像進行剪裁以得到人體圖像塊；

將所述姿態概率值和所述人體圖像塊作為特征檢測器的輸入，使得該特征檢測器選取與所述姿態概率值匹配的特征檢測網絡以計算并輸出所述當前幀圖像中的關鍵點；

其中，所述特征檢測器包括第二特征提取網絡以及多個特征檢測網絡；將所述姿態概率值和所述人體圖像塊作為特征檢測器的輸入，以計算并輸出所述當前幀圖像中的關鍵點的步驟，包括：

將所述人體圖像塊作為所述第二特征提取網絡的輸入以計算并提取該人體圖像塊中的人體特征；

根據所述姿態概率值從多個所述特征檢測網絡中選取對應的特征檢測網絡并作為目標檢測網絡，將所述人體特征作為所述目標檢測網絡的輸入以檢測所述人體特征的關鍵點。

2.根據權利要求1所述的關鍵點檢測方法，其特征在于，所述人體檢測器包括第一特征提取網絡、區域建議網絡和分類回歸網絡；計算并輸出用于對所述當前幀圖像進行剪裁的人體檢測框以及所述當前幀圖像中的姿態概率值的步驟，包括：

將所述當前幀圖像作為所述第一特征提取網絡的輸入以提取并輸出所述當前幀圖像中的圖像特征；

將提取到的圖像特征作為所述區域建議網絡的輸入以生成初始檢測框，并根據所述初始檢測框對所述當前幀圖像中的圖像特征進行裁剪以得到初始圖像特征塊；

將所述初始圖像特征塊作為所述分類回歸網絡的輸入，以計算用于表征人體姿態類別的姿態概率值，以及對所述初始檢測框進行精修校正得到人體檢測框。

3.根據權利要求1所述的關鍵點檢測方法，其特征在于，在執行所述姿態概率值作為特征檢測器的輸入，以從多個特征檢測網絡中選取與所述姿態概率值最匹配的特征檢測網絡的步驟之前，所述方法還包括：

獲取訓練數據集，將該訓練數據集劃分為多個訓練子集，所述訓練子集與所述特征檢測網絡一一對應；

針對每一個所述訓練子集，將該訓練子集作為對應特征檢測網絡的輸入以計算并輸出所述訓練子集的測試特征點，將該訓練子集作為回歸網絡的輸入以計算并輸出測試跟蹤值；

根據所述測試特征點和所述測試跟蹤值計算所述特征檢測網絡的損失函數值，并根據損失函數值對所述特征檢測網絡進行優化直到所述損失函數值的輸出滿足預設需求。

4.根據權利要求3所述的關鍵點檢測方法，其特征在于，所述損失函數值Loss的計算步驟包括：

其中，o_c代表測試特征點；δX_c代表測試跟蹤值，H_c代表實際特征點，δY_c代表實際跟蹤值，C代表特征檢測網絡的數量，c代表第c個訓練子集。

5.根據權利要求1所述的關鍵點檢測方法，其特征在于，所述關鍵點檢測方法還包括特征跟蹤過程，該特征跟蹤過程包括：

將所述人體檢測框作為檢測回歸網絡的輸入，以對該人體檢測框進行精修校正，并基于校正后的人體檢測框進行人體跟蹤。

6.根據權利要求5所述的關鍵點檢測方法，其特征在于，所述移動終端中運行有第一線程和第二線程；

所述第一線程用于執行所述特征檢測過程，所述第二線程用于基于所述第一線程的運行結果執行所述特征跟蹤過程，其中，所述第一線程和所述第二線程按照預設周期交替運行。