[發明專利]生成人體關鍵點檢測模型的方法和裝置

有效

• 申請號: 201811380813.2
• 申請日: 2018-11-20
• 公開（公告）號: CN109508681B
• 公開（公告）日: 2021-11-30
• 發明（設計）人: 鮑慊;劉武;梅濤
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/08
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

1.一種生成人體關鍵點檢測模型的方法，包括：

獲取樣本集，其中，所述樣本集中的樣本包括樣本人體圖像以及樣本人體圖像中的關鍵點的標注信息；

從所述樣本集中選取樣本，以及執行以下訓練步驟：將選取的樣本的樣本人體圖像輸入初始第一模型，得到金字塔結構的特征圖，其中，所述初始第一模型采用Resnet101作為基礎的網絡結構；基于所述特征圖和樣本人體圖像中的關鍵點的標注信息確定第一層損失值；將所述特征圖輸入初始第二模型，得到檢測出的關鍵點的位置坐標，其中，所述初始第二模型是以注意力模型為基礎的神經網絡；基于所述檢測出的關鍵點的位置坐標和樣本人體圖像中的關鍵點的標注信息確定第二層損失值；基于所述第一層損失值與所述第二層損失值確定初始第一模型和初始第二模型是否訓練完成；響應于確定出初始第一模型和初始第二模型訓練完成，將所述初始第一模型和所述初始第二模型確定為人體關鍵點檢測模型；

其中，其中，所述將所述特征圖輸入初始第二模型，得到檢測出的關鍵點的位置坐標包括：

根據所述特征圖生成注意力特征圖；

根據所述注意力特征圖生成預定數目個第二預測熱力圖，其中，每個第二預測熱力圖對應一個關鍵點；

對于所述預定數目個第二預測熱力圖中的第二預測熱力圖，根據每個第二預測熱力圖中最大概率像素所在的位置檢測出對應關鍵點的位置坐標；

所述根據所述特征圖生成注意力特征圖，包括：

將所述特征圖加入不同次數的瓶頸塊，得到不同尺度的特征圖；

將所述不同尺度的特征圖經過上采樣后融合在一起，得到第一特征圖；

將所述不同尺度的特征圖輸入注意力模型，得到不同分辨率的第一注意力圖；

將所述不同分辨率的第一注意力圖經過上采樣后融合在一起，得到融合的第一注意力圖，以及將融合的第一注意力與第一特征圖結合得到第二特征圖；

將所述第二特征圖輸入所述注意力模型，得到第二注意力圖；

將所述第二注意力圖和所述第二特征圖結合得到注意力特征圖。

2.根據權利要求1所述的方法，其中，所述將選取的樣本的樣本人體圖像輸入初始第一模型，得到金字塔結構的特征圖，包括：

將選取的樣本的樣本人體圖像輸入殘差網絡，得到各個殘差塊的最后一個卷積層輸出的特征圖；

將各卷積層輸出的特征圖分別經過全卷積層，再通過上采樣后橫向連接得到金字塔結構的特征圖。

3.根據權利要求2所述的方法，其中，所述基于所述特征圖和樣本人體圖像中的關鍵點的標注信息確定第一層損失值，包括：

根據所述樣本人體圖像中的關鍵點的標注信息為每個關鍵點生成一個真實熱力圖；

根據所述特征圖生成預定數目個第一預測熱力圖，其中，每個第一預測熱力圖對應一個關鍵點；

基于每個關鍵點在真實熱力圖與第一預測熱力圖中的位置偏差確定出第一層損失值。

4.根據權利要求1所述的方法，其中，所述基于所述檢測出的關鍵點的位置坐標和樣本人體圖像中的關鍵點的標注信息確定第二層損失值，包括：

根據所述樣本人體圖像中的關鍵點的標注信息為每個關鍵點生成一個真實熱力圖；

根據所述注意力特征圖生成預定數目個第二預測熱力圖，其中，每個第二預測熱力圖對應一個關鍵點；

基于每個關鍵點在真實熱力圖與第二預測熱力圖中的位置偏差確定出第二層損失值。

5.根據權利要求1-4之一所述的方法，其中，所述方法還包括：

響應于確定出初始第一模型和初始第二模型未訓練完成，調整所述初始第一模型和所述初始第二模型中的相關參數，以及從所述樣本集中重新選取樣本，使用調整后的初始第一模型和初始第二模型，繼續執行所述訓練步驟。

6.一種用于檢測人體的方法，包括：

獲取檢測對象的人體圖像；

將所述人體圖像輸入采用如權利要求1-4之一所述的方法生成的人體關鍵點檢測模型中，生成所述檢測對象的人體關鍵點的位置坐標。