[發明專利]一種基于多尺度特征強化的2D人體姿態估計方法

在審

• 申請號: 202010883889.8
• 申請日: 2020-08-28
• 公開（公告）號: CN112131959A
• 公開（公告）日: 2020-12-25
• 發明（設計）人: 邵展鵬;劉鵬;胡超群;周小龍
• 申請（專利權）人: 浙江工業大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州斯可睿專利事務所有限公司 33241
• 代理人: 王利強

1.一種基于多尺度特征強化的2D人體姿態估計方法，其特征在于，所述方法包括以下步驟：

1)獲取高表征能力的抽象特征：

將預處理后的圖片輸入ResNeSt骨干網絡，通過分離注意力模塊對不同維度的特征進行跨通道交互，去掉最后的分類層并輸出四個階段的特征；

2)構建多級預測網絡：

通過步驟1)獲取四個分辨率不同的特征，對于這四個階段的特征構建一個強化特征的功能金字塔，由于頂層特征點在傳播過程中損失了較多的語義信息，所以使用特征強化策略對高層特征進行融合強化；

3)構建高分辨率調整網絡：

構建一個高分辨率調整網絡對前一個階段預測損失較大的關鍵點進行位置調整，通過轉置卷積對多級預測網絡的中的特征進行上采樣，很好地結合上采樣和卷積操作，對擴張后的特征進行級聯操作，為較小尺度的關鍵點引入了較為豐富的空間細節；

4)整體網絡的訓練設置：

將所有輸入圖片設置為4:3的高寬比，然后使用人體檢測器獲取每張圖片中的人體實例，輸入的實例尺寸設置為384×288，使用MSE損失函數對訓練過程中誤差進行梯度回傳；網絡的初始學習率設置為5e-4，權重衰減為1e-5，使用Adam優化器，每訓練6個批次后學習率減少為原來的一半，一個訓練20個批次。

2.如權利要求1所述的一種基于多尺度特征強化的2D人體姿態估計方法，其特征在于，所述步驟1)中，考慮到表征能力更強的特征最后的定位結果至關重要，所以使用針對像素級的視覺任務的特征提取網絡ResNeSt,通過分離注意力模塊對不同尺度的特征進行跨通道交互；

首先將特征圖分為K個基數組，每組內再次拆分為R組，即特征組的總數為G＝KR，對每個組的特征單獨應用一些變換特征組的中間表示為：

其中表示不同的變換函數，G表示總的特征組數，第k個基數組的輸入為：

其中對于k∈1,2,...,K，有H,W和C分別表示特征圖的高，寬和通道數。

3.如權利要求1或2所述的一種基于多尺度特征強化的2D人體姿態估計方法，其特征在于，所述步驟2)中，通過骨干網絡獲取到四個不同分辨率的特征后，構建了一個金字塔結構的多級預測網絡來保持不同尺度的語義信息和空間分辨率信息，由于頂層特征通過大小為1×1卷積核進行降維，損失了較多的語義信息，直接導致各層語義信息的缺失；使用一個特征增強模塊，有效的對頂層特征進行強化，有效的改善了整個多級預測網絡的表征能力；

然后對多級特征網絡的進行分別預測，首先使用1×1卷積消除由于特征疊加產生的混疊效應，然后對其應用一個BN(Batch Normalization)層進行歸一化處理，接著使用ReLU激活函數處理，再通過3×3卷積將256維的特征降到最終所需的維度17維，最后將得到的熱圖上采樣到輸出大小，再次進行歸一化處理，有效的提升了模型的泛化能力。

4.如權利要求1或2所述的一種基于多尺度特征強化的2D人體姿態估計方法，其特征在于，所述步驟3)中，按步驟2)中的方法進行全局定位后，仍有一些較小的，被遮擋的關鍵點檢測誤差較大，構建一個高分辨率微調網絡，將不同尺度的特征集成到一起，將多級預測網絡中的特征圖通過若干瓶頸模塊進行特征細化，然后通過不同次數的轉置卷積層將其上采樣到輸出大小；

經過轉置卷積獲取到四個相同大小的高分辨率特征，對每個特征分別進行尺度歸一化和ReLU函數處理，將其按照第一個維度級聯在一起,然后使用大小為3×3的卷積核對其進行最后的預測，對輸出結果進行尺度歸一化后輸出，為了防止在對較小目標進行修改的同時對較大人體關鍵點的位置造成干擾，在網絡訓練的梯度回傳過程中，只對損失值較大的關鍵點位置進行修改。