[發明專利]人體關鍵點檢測模型訓練方法、檢測方法及裝置

有效

• 申請號: 202110617098.5
• 申請日: 2021-06-03
• 公開（公告）號: CN113361381B
• 公開（公告）日: 2022-12-23
• 發明（設計）人: 何濤
• 申請（專利權）人: 上海嗶哩嗶哩科技有限公司
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V40/10;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京英特普羅知識產權代理有限公司 11015
• 代理人: 饒文彬;鄧小玲

本申請公開了一種人體關鍵點檢測模型訓練方法。該方法包括：獲取多組人體圖片；將各組人體圖片輸入至教師模型中，以提取出第一人體關鍵點特征向量；將各組人體圖片輸入至學生模型中，以提取出第二人體關鍵點特征向量；根據每組人體圖片對應的各個第一人體關鍵點特征向量計算每組人體圖片對應的第一時序特征，以及根據每組人體圖片對應的各個第二人體關鍵點特征向量計算每組人體圖片對應的第二時序特征；根據所述第一時序特征與對應的所述第二時序特征計算所述學生模型的損失函數，并根據損失函數對學生模型的模型參數進行更新，直至損失函數滿足預設條件，得到人體關鍵點檢測模型。本申請可提高模型的檢測精度。

技術領域

本申請涉及圖像處理技術領域，尤其涉及一種人體關鍵點檢測模型訓練方法、檢測方法及裝置。

背景技術

人體關鍵點檢測也稱為人體關鍵點定位，定位出人體的關鍵區域位置，包括人臉、手、足等。人體關鍵點檢測是人體識別任務中重要的基礎環節，人體關鍵點的精確檢測對眾多科研和應用課題具有關鍵作用，例如，人臉姿態矯正、姿態識別、表情識別、疲勞監測、嘴型識別等。

在現有技術中，存在多種人體關鍵點檢測模型，比如基于知識蒸餾方法訓練得到的人體關鍵點檢測模型。然而，發明人發現，現有的人體關鍵點檢測模型在進行人體關鍵點檢測時，由于受到姿態和遮擋、抖動等各種因素的影響，比如，在對視頻中的各個視頻幀中的人體關鍵點進行檢測時，現有的基于知識蒸餾方法訓練得到的人體關鍵點檢測模型在這種場景下對人體圖片進行檢測時，模型的檢測精度不高。

發明內容

有鑒于此，現提供一種人體關鍵點檢測模型訓練方法、裝置、計算機設備及計算機可讀存儲介質，以解決現有的基于知識蒸餾方法訓練得到的人體關鍵點檢測模型的檢測精度不高的問題。

本申請提供了一種人體關鍵點檢測模型訓練方法，包括：

獲取訓練樣本數據集，所述訓練樣本數據集包括多組人體圖片，每組人體圖片包括至少兩張相鄰的視頻幀圖片，所述視頻幀圖片為從視頻幀中提取出的人體圖片；

將各組人體圖片輸入至預先訓練好的教師模型中，并通過所述教師模型提取出每組人體圖片中的各個視頻幀圖片的第一人體關鍵點特征向量，其中，所述教師模型為用于從人體圖片中檢測出人體關鍵點的模型；

將各組人體圖片輸入至學生模型中，并通過所述學生模型提取出每組人體圖片中的各個視頻幀圖片的第二人體關鍵點特征向量，所述學生模型為用于從人體圖片中檢測出人體關鍵點的模型；

根據每組人體圖片對應的各個第一人體關鍵點特征向量計算每組人體圖片對應的第一時序特征，以及根據每組人體圖片對應的各個第二人體關鍵點特征向量計算每組人體圖片對應的第二時序特征；

根據所述第一時序特征與對應的所述第二時序特征計算所述學生模型的損失函數；

根據所述損失函數對所述學生模型的模型參數進行更新，直至所述損失函數滿足預設條件，得到訓練好的人體關鍵點檢測模型。

可選地，所述根據每組人體圖片對應的各個第一人體關鍵點特征向量計算每組人體圖片對應的第一時序特征包括：

將每組人體圖片對應的各個第一人體關鍵點特征向量按位相乘，得到每組人體圖片對應的第一時序特征；

所述根據每組人體圖片對應的各個第二人體關鍵點特征向量計算每組人體圖片對應的第二時序特征包括：

將每組人體圖片對應的各個第二人體關鍵點特征向量按位相乘，得到每組人體圖片對應的第二時序特征。

可選地，所述根據所述第一時序特征與對應的所述第二時序特征計算所述學生模型的損失函數包括：

基于所述第一時序特征和對應的第二時序特征確定第一損失值；