[發明專利]姿態估計及網絡訓練方法、裝置和系統及存儲介質

有效

• 申請號: 201811592835.5
• 申請日: 2018-12-25
• 公開（公告）號: CN109711462B
• 公開（公告）日: 2021-07-09
• 發明（設計）人: 李文博;王志成;俞剛
• 申請（專利權）人: 北京邁格威科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/00
• 代理公司: 北京睿邦知識產權代理事務所(普通合伙) 11481
• 代理人: 徐丁峰;戴亞南

本發明實施例提供一種姿態估計網絡的訓練方法、裝置和系統與姿態估計方法、裝置和系統以及存儲介質。訓練方法包括：獲取N₁個樣本圖像和標注數據；利用N₁個樣本圖像和標注數據對姿態估計網絡進行訓練，其中，利用N₁個樣本圖像和標注數據對姿態估計網絡進行訓練包括：在訓練過程的每次迭代中，執行第一操作。利用第一操作可以針對難樣本進行重點優化。因此，可以有效提高關節點的檢測精度。

技術領域

本發明涉及圖像處理領域，更具體地涉及一種姿態估計網絡的訓練方法、裝置和系統以及存儲介質與一種姿態估計方法、裝置和系統以及存儲介質。

背景技術

人體姿態估計是計算機視覺的一個重要分支，用于定位人體的各個關節點，如手肘、手腕、膝蓋等。近些年來，隨著神經網絡和硬件設施的發展，人體關節點檢測技術取得了長足的發展。但是，對于某些動作幅度大、姿勢奇怪或罕見、有遮擋的難樣本，現有的算法普遍效果較差，需要進一步提高檢測精度。

發明內容

考慮到上述問題而提出了本發明。本發明提供了一種姿態估計網絡的訓練方法、裝置和系統以及存儲介質與一種姿態估計方法、裝置和系統以及存儲介質。

根據本發明一方面，提供了一種姿態估計網絡的訓練方法。該方法包括：

獲取N₁個樣本圖像和標注數據，其中，標注數據包括與N₁個樣本圖像分別對應的關節點位置數據，N₁≥1；

利用N₁個樣本圖像和標注數據對姿態估計網絡進行訓練，其中，姿態估計網絡包括M個U型網絡結構，M個U型網絡結構中的每一個包括下采樣模塊和上采樣模塊，并且第i個U型網絡結構的下采樣模塊的輸入數據基于第i-1個U型網絡結構的上采樣模塊輸出的N_i個樣本圖像的特征圖獲得，其中，i＝2,3,……,M，并且其中，M≥2，N_i≤N₁；

其中，M個U型網絡結構中的至少一個U型網絡結構還包括熱力圖模塊，利用N₁個樣本圖像和標注數據對姿態估計網絡進行訓練包括：在訓練過程的每次迭代中，執行第一操作；

其中，第一操作包括：

根據第j個U型網絡結構的熱力圖模塊輸出的N_j個樣本圖像的關節點熱力圖以及N_j個樣本圖像的關節點位置數據，計算N_j個樣本圖像中的每一個的關節點檢測評分，其中，1≤j≤M-1；

忽略第j個U型網絡結構的上采樣模塊輸出的特征圖中除預定特征圖以外的特征圖，基于預定特征圖，獲得第j+1個U型網絡結構的下采樣模塊的輸入數據，其中，預定特征圖為與關節點檢測評分最低的N_j+1個樣本圖像相對應的特征圖，1≤N_j+1＜N_j。

示例性地，對于M個U型網絡結構中的每一個，該U型網絡結構的下采樣模塊包括Q個卷積子模塊，上采樣模塊包括Q-1個上采樣子模塊，該U型網絡結構還包括與Q個卷積子模塊一一對應的Q個連接支路，下采樣模塊的第q個卷積子模塊用于輸出第q組下采樣特征圖，第q個連接支路用于接收第q組下采樣特征圖并輸出第q組支路特征圖，上采樣模塊的第q個上采樣子模塊用于接收第q+1組上采樣特征圖并輸出第q組上采樣特征圖，其中，

在1≤q＜Q的情況下，該U型網絡結構的上采樣模塊中的第q個上采樣子模塊用于對第q+1組上采樣特征圖進行上采樣，將上采樣獲得的特征圖直接或經過卷積之后與第q組支路特征圖進行結合，以獲得第q組上采樣特征圖；在q＝1的情況下，將第q組上采樣特征圖輸出至下一個U型網絡結構；在1＜q＜Q的情況下，將第q組上采樣特征圖輸出至上采樣模塊中的第q-1個上采樣子模塊；