[發明專利]一種基于知識蒸餾的多人人體姿態估計方法及系統

在審

• 申請號: 202210714617.4
• 申請日: 2022-06-22
• 公開（公告）號: CN115187660A
• 公開（公告）日: 2022-10-14
• 發明（設計）人: 歐衛華;蔣永紅;高國強;猶津
• 申請（專利權）人: 貴州思索電子有限公司
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06N3/04;G06N3/08
• 代理公司: 成都弘毅天承知識產權代理有限公司 51230
• 代理人: 謝建

1.一種基于知識蒸餾的多人人體姿態估計方法，其特征在于，包括：

獲取人體姿態樣本數據以及人體姿態樣本數據標簽；

構建已完成預訓練的教師網絡模型和未訓練的學生網絡模型，其中，教師網絡模型為HRNet-W32，學生網絡模型包括編碼器、解碼器和關節點回歸器，編碼器為GhostNet卷積層，解碼器為堆疊輕量級上采樣模塊，關節點回歸器為卷積核為1×1的卷積；

人體姿態樣本數據輸入預訓練的教師網絡得到第一輸出關節點熱圖，人體姿態樣本數據輸入學生網絡得到第二輸出關節點熱圖，利用第二輸出關節點熱圖與人體姿態樣本數據標簽的目標關節點熱圖生成關節點偏置，聯合關節點偏置和第一輸出關節點熱圖指導學生網絡的學習；

將獲取的實時人體姿態數據輸入學生網絡，輸出實時的關節點熱圖，并將關節點熱圖轉化為真實的關節點坐標。

2.如權利要求1所述的一種基于知識蒸餾的多人人體姿態估計方法，其特征在于：人體姿態樣本數據標簽通過二維高斯函數G_m(x，y)計算目標關節點熱圖H^m∈R^h×w，其中二維高斯函數G_m(x，y)為：

H^m＝G_m(x，y)

其中，σ為高斯分布的標準差，w和h為生成熱圖的寬和長，x_m和y_m分別為關節點橫縱坐標。

3.如權利要求1所述的一種基于知識蒸餾的多人人體姿態估計方法，其特征在于：生成關節點偏置的公式為：

其中，P＝{p₁，p₂，p₃，...，p_k}為超參數，k為人體關節的個數，p_i作為對應關節點i的偏置，表示第i關節點標簽生成的熱圖，表示學生網絡預測第i關節點的熱圖；j表示超參數系數，h^tar表示標簽生成的熱圖，h^stu表示學生網絡輸出的熱圖；

為：

其中，γ表示超參系數。

4.如權利要求1所述的一種基于知識蒸餾的多人人體姿態估計方法，其特征在于：教師網絡采用MSE損失函數，具體為：

其中，表示教師網絡在第i關節點的熱圖，表示學生網絡預測第i關節點的熱圖，h^tea表示教師網絡輸出的熱圖，h^stu表示學生網絡輸出的熱圖，n表示關節點數；

教師網絡與學生網絡的整體損失函數為：

L_total＝MSE(h^tea，h^stu)+λD(h^tar，h^stu)

其中，λ為平衡兩個損失權重的超參系數，h^tar表示標簽生成的熱圖。

5.一種基于知識蒸餾的多人人體姿態估計系統，其特征在于，包括：

數據獲取模塊，用于獲取人體姿態樣本數據以及人體姿態樣本數據標簽；

網絡模型搭建模塊，用于構建已完成預訓練的教師網絡模型和未訓練的學生網絡模型，其中，教師網絡模型為HRNet-W32，學生網絡模型包括編碼器、解碼器和關節點回歸器，編碼器為GhostNet卷積層，解碼器為堆疊輕量級上采樣模塊，關節點回歸器為卷積核為1×1的卷積；

網絡模型訓練模塊，用于人體姿態樣本數據輸入預訓練的教師網絡得到第一輸出關節點熱圖，人體姿態樣本數據輸入學生網絡得到第二輸出關節點熱圖，利用第二輸出關節點熱圖與人體姿態樣本數據標簽的目標關節點熱圖生成關節點偏置，聯合關節點偏置和第一輸出關節點熱圖指導學生網絡的學習；

熱圖實時模塊，用于將獲取的實時人體姿態數據輸入學生網絡，輸出實時的關節點熱圖，并將關節點熱圖轉化為真實的關節點坐標。