[發(fā)明專利]人體關(guān)鍵點檢測模型訓(xùn)練方法、檢測方法及裝置

有效

• 申請?zhí)枺?/td>: 202110617098.5
• 申請日: 2021-06-03
• 公開（公告）號: CN113361381B
• 公開（公告）日: 2022-12-23
• 發(fā)明（設(shè)計）人: 何濤
• 申請（專利權(quán)）人: 上海嗶哩嗶哩科技有限公司
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V40/10;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京英特普羅知識產(chǎn)權(quán)代理有限公司 11015
• 代理人: 饒文彬;鄧小玲

1.一種人體關(guān)鍵點檢測模型訓(xùn)練方法，其特征在于，包括：

獲取訓(xùn)練樣本數(shù)據(jù)集，所述訓(xùn)練樣本數(shù)據(jù)集包括多組人體圖片，每組人體圖片包括至少兩張相鄰的視頻幀圖片，所述視頻幀圖片為從視頻幀中提取出的人體圖片；

將各組人體圖片輸入至預(yù)先訓(xùn)練好的教師模型中，并通過所述教師模型提取出每組人體圖片中的各個視頻幀圖片的第一人體關(guān)鍵點特征向量，其中，所述教師模型為用于從人體圖片中檢測出人體關(guān)鍵點的模型；

將各組人體圖片輸入至學(xué)生模型中，并通過所述學(xué)生模型提取出每組人體圖片中的各個視頻幀圖片的第二人體關(guān)鍵點特征向量，所述學(xué)生模型為用于從人體圖片中檢測出人體關(guān)鍵點的模型；

根據(jù)每組人體圖片對應(yīng)的各個第一人體關(guān)鍵點特征向量計算每組人體圖片對應(yīng)的第一時序特征，以及根據(jù)每組人體圖片對應(yīng)的各個第二人體關(guān)鍵點特征向量計算每組人體圖片對應(yīng)的第二時序特征，所述第一時序特征為對每組人體圖片對應(yīng)的各個第一人體關(guān)鍵點特征向量進行按位相乘得到的特征向量，所述第二時序特征為對每組人體圖片對應(yīng)的各個第二人體關(guān)鍵點特征向量進行按位相乘得到的特征向量；

根據(jù)所述第一時序特征與對應(yīng)的所述第二時序特征計算所述學(xué)生模型的損失函數(shù)；

根據(jù)所述損失函數(shù)對所述學(xué)生模型的模型參數(shù)進行更新，直至所述損失函數(shù)滿足預(yù)設(shè)條件，得到訓(xùn)練好的人體關(guān)鍵點檢測模型。

2.根據(jù)權(quán)利要求1所述的人體關(guān)鍵點檢測模型訓(xùn)練方法，其特征在于，所述根據(jù)每組人體圖片對應(yīng)的各個第一人體關(guān)鍵點特征向量計算每組人體圖片對應(yīng)的第一時序特征包括：

將每組人體圖片對應(yīng)的各個第一人體關(guān)鍵點特征向量按位相乘，得到每組人體圖片對應(yīng)的第一時序特征；

所述根據(jù)每組人體圖片對應(yīng)的各個第二人體關(guān)鍵點特征向量計算每組人體圖片對應(yīng)的第二時序特征包括：

將每組人體圖片對應(yīng)的各個第二人體關(guān)鍵點特征向量按位相乘，得到每組人體圖片對應(yīng)的第二時序特征。

3.根據(jù)權(quán)利要求1所述的人體關(guān)鍵點檢測模型訓(xùn)練方法，所述根據(jù)所述第一時序特征與對應(yīng)的所述第二時序特征計算所述學(xué)生模型的損失函數(shù)包括：

基于所述第一時序特征和對應(yīng)的第二時序特征確定第一損失值；

分別計算每組人體圖片的各個第一人體關(guān)鍵點特征向量與對應(yīng)的第二人體關(guān)鍵點特征向量的第二損失值，并根據(jù)計算得到的各個第二損失值確定第三損失值；

根據(jù)所述第一損失值和所述第三損失值計算所述學(xué)生模型的損失函數(shù)。

4.根據(jù)權(quán)利要求3所述的人體關(guān)鍵點檢測模型訓(xùn)練方法，其特征在于，所述根據(jù)計算得到的各個第二損失值確定第三損失值包括：

將計算得到的各個第二損失值的和值或平均值作為所述第三損失值。

5.根據(jù)權(quán)利要求3所述的人體關(guān)鍵點檢測模型訓(xùn)練方法，其特征在于，所述根據(jù)所述第一損失值和所述第三損失值計算所述學(xué)生模型的損失函數(shù)包括：

獲取所述第一損失值的第一權(quán)重，以及所述第三損失值的第二權(quán)重；

根據(jù)所述第一損失值、所述第一權(quán)重、所述第三損失值和所述第二權(quán)重計算所述損失函數(shù)。

6.根據(jù)權(quán)利要求3所述的人體關(guān)鍵點檢測模型訓(xùn)練方法，其特征在于，每一張視頻幀畫面都具有人體圖片人體關(guān)鍵點，所述方法還包括：

獲取所述學(xué)生模型輸出的每組人體圖片對應(yīng)的預(yù)測人體關(guān)鍵點；

根據(jù)各個預(yù)測人體關(guān)鍵點與對應(yīng)的人體關(guān)鍵點確定第四損失值；

所述根據(jù)所述第一損失值和所述第三損失值計算所述學(xué)生模型的損失函數(shù)包括：

基于所述第一損失值、所述第三損失值和所述第四損失值計算所述損失函數(shù)。

7.根據(jù)權(quán)利要求6所述的人體關(guān)鍵點檢測模型訓(xùn)練方法，其特征在于，所述基于所述第一損失值、所述第三損失值和所述第四損失值計算所述損失函數(shù)包括：

獲取所述第一損失值的第三權(quán)重，所述第三損失值的第四權(quán)重和所述第四損失值的第五權(quán)重；

基于所述第一損失值、所述第三權(quán)重、所述第三損失值、所述第四權(quán)重、所述第四損失值和所述第五權(quán)重計算所述損失函數(shù)。