[發(fā)明專利]生成人體關鍵點檢測模型的方法和裝置

有效

• 申請?zhí)枺?/td>: 201811380813.2
• 申請日: 2018-11-20
• 公開（公告）號: CN109508681B
• 公開（公告）日: 2021-11-30
• 發(fā)明（設計）人: 鮑慊;劉武;梅濤
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/08
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

本申請實施例公開了生成人體關鍵點檢測模型的方法和裝置。該方法的一具體實施方式包括：獲取樣本集，包括樣本人體圖像和標注信息；從樣本集中選取樣本，以及執(zhí)行以下訓練步驟：將選取的樣本的樣本人體圖像輸入初始第一模型，得到金字塔結構的特征圖；基于特征圖和樣本人體圖像中的關鍵點的標注信息確定第一層損失值；將特征圖輸入初始第二模型，得到檢測出的關鍵點的位置坐標；基于檢測出的關鍵點的位置坐標和樣本人體圖像中的關鍵點的標注信息確定第二層損失值；響應于確定出初始第一模型和初始第二模型訓練完成，將初始第一模型和初始第二模型確定為人體關鍵點檢測模型。該實施方式能夠更準確地檢測被遮擋或隱藏的人體關鍵點。

技術領域

本申請實施例涉及計算機技術領域，具體涉及生成人體關鍵點檢測模型的方法和裝置。

背景技術

人體關鍵點檢測是通過計算機視覺技術獲得圖像或者視頻中人體關鍵點位置，分為單人關鍵點檢測和多人關鍵點檢測兩個問題。多人關鍵點檢測通常是經過人體檢測之后，再使用單人關鍵點檢測的方法獲得圖片中的每個人的關鍵點位置，因此，提升單人關鍵點檢測方法的性能尤其重要。深度學習方法為提升人體關鍵點檢測準確度提供有效的解決方案。

相關技術中對于手腕、腳踝等容易被遮擋、容易形變的關鍵點的檢測準確度較低。并且沒有考慮不同尺度特征圖的差異，因此不能有效地解決關鍵點的目標區(qū)域較小、難以檢測的問題。

發(fā)明內容

本申請實施例提出了生成人體關鍵點檢測模型的方法和裝置。

第一方面，本申請實施例提供了一種生成人體關鍵點檢測模型的方法，包括：獲取樣本集，其中，樣本集中的樣本包括樣本人體圖像以及樣本人體圖像中的關鍵點的標注信息；從樣本集中選取樣本，以及執(zhí)行以下訓練步驟：將選取的樣本的樣本人體圖像輸入初始第一模型，得到金字塔結構的特征圖；基于特征圖和樣本人體圖像中的關鍵點的標注信息確定第一層損失值；將特征圖輸入初始第二模型，得到檢測出的關鍵點的位置坐標；基于檢測出的關鍵點的位置坐標和樣本人體圖像中的關鍵點的標注信息確定第二層損失值；基于第一層損失值與第二層損失值確定初始第一模型和初始第二模型是否訓練完成；響應于確定出初始第一模型和初始第二模型訓練完成，將初始第一模型和初始第二模型確定為人體關鍵點檢測模型。

在一些實施例中，將選取的樣本的樣本人體圖像輸入初始第一模型，得到金字塔結構的特征圖，包括：將選取的樣本的樣本人體圖像輸入殘差網絡，得到各個殘差塊的最后一個卷積層輸出的特征圖；將各卷積層輸出的特征圖分別經過全卷積層，再通過上采樣后橫向連接得到金字塔結構的特征圖。

在一些實施例中，基于特征圖和樣本人體圖像中的關鍵點的標注信息確定第一層損失值，包括：根據樣本人體圖像中的關鍵點的標注信息為每個關鍵點生成一個真實熱力圖；根據特征圖生成預定數目個第一預測熱力圖，其中，每個第一預測熱力圖對應一個關鍵點；基于每個關鍵點在真實熱力圖與第一預測熱力圖中的位置偏差確定出第一層損失值。

在一些實施例中，將特征圖輸入初始第二模型，得到檢測出的關鍵點的位置坐標包括：根據特征圖生成注意力特征圖；根據注意力特征圖生成預定數目個第二預測熱力圖，其中，每個第二預測熱力圖對應一個關鍵點；對于預定數目個第二預測熱力圖中的第二預測熱力圖，根據每個第二預測熱力圖中最大概率像素所在的位置檢測出對應關鍵點的位置坐標。

在一些實施例中，根據特征圖生成注意力特征圖，包括：將特征圖加入不同次數的瓶頸塊，得到不同尺度的特征圖；將不同尺度的特征圖經過上采樣后融合在一起，得到第一特征圖；將不同尺度的特征圖輸入注意力模型，得到不同分辨率的第一注意力圖；將不同分辨率的第一注意力圖經過上采樣后融合在一起，得到融合的第一注意力圖，以及將融合的第一注意力與第一特征圖結合得到第二特征圖；將第二特征圖輸入注意力模型，得到第二注意力圖；將第二注意力圖和第二特征圖結合得到注意力特征圖。