[發明專利]基于流式注意力的輕量級人體姿態估計方法及系統

在審

• 申請號: 202210043030.5
• 申請日: 2022-01-14
• 公開（公告）號: CN114529982A
• 公開（公告）日: 2022-05-24
• 發明（設計）人: 肖德貴;劉家輝
• 申請（專利權）人: 湖南大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/20;G06N3/04;G06N3/08
• 代理公司: 長沙朕揚知識產權代理事務所(普通合伙) 43213
• 代理人: 何湘玲

1.一種基于流式注意力的輕量級人體姿態估計方法，其特征在于，包括以下步驟：

獲取需要姿態估計的目標圖像；對目標圖像進行標準化剪裁以及歸一化處理；將所述目標圖像輸入訓練好的基于流式注意力的輕量級人體姿態估計網絡中，輸出姿態估計熱圖結果；

所述訓練好的基于流式注意力的輕量級人體姿態估計網絡，通過以下步驟訓練得到：

通過訓練數據集中的訓練圖像進行訓練，訓練數據集中的訓練圖像經過不同尺度的卷積進行下采樣，再經過多組帶有流式注意力的ghost輕量級模塊，得到四個不同尺度的第一特征圖C₁、C₂、C₃和C₄；將四個不同尺度的第一特征圖C₁、C₂、C₃和C₄作為上采樣模塊的輸入，分別進行卷積得到相同通道數的四個第二特征圖M₁、M₂、M₃和M₄；將四個第二特征圖中除了尺寸最大的一張第二特征圖以外的其他第二特征圖進行雙線性上采樣操作，得到二倍的特征圖，并將第一特征圖和上采樣模塊得到的二倍特征圖中同一尺度的特征圖進行特征融合，輸出第三特征圖，轉化后得到人體姿態估計所需要的熱圖。

2.根據權利要求1所述的基于流式注意力的輕量級人體姿態估計方法，其特征在于，所述四個不同尺度的第一特征圖C₁、C₂、C₃和C₄的尺度分別為訓練圖像的1/4、1/8、1/16和1/32；所述第三特征圖的尺度為訓練圖像的1/4。

3.根據權利要求2所述的基于流式注意力的輕量級人體姿態估計方法，其特征在于，所述帶有流式注意力的ghost輕量級模塊，用于執行以下步驟：

將特征圖輸入ghost單元，首先經過1x1卷積得到之后采用3x3的深度可分離卷積得到最后將U和U’進行拼接操作得到其中，Z是ghost單元的輸入特征圖，是實數集，H代表特征圖高度，W代表特征圖寬度，C代表特征圖維度，m代表ghost單元輸出特征圖的維度，U和U’分別是中間產生的特征圖；

將特征圖輸入流式注意力模塊，生成多尺度特征圖和其中和是兩個不同的同尺度的深度可分離卷積；將輸出的兩個特征圖M和N進行拼接操作得到特征圖

將特征圖F輸入到坐標通道注意力單元中，得到權重向量v＝CCAU(F)；

將權重向量v平均分為兩個向量和然后將這兩個向量和之前得到的兩個特征圖M和N相乘再相加得到輸出特征圖即為Y_c＝a_c×M_c+b_c×N_c，其中c表示特征圖和權重向量的第c維。

4.一種基于流式注意力的輕量級人體姿態估計系統，其特征在于，包括：

主體網絡模塊：即神經網絡的編碼模塊，用于將輸入的目標圖像經過不同尺度的卷積進行下采樣，再經過多組帶有流式注意力的ghost輕量級模塊，得到四個不同尺度的第一特征圖C₁、C₂、C₃和C₄；

上采樣模塊：即神經網絡的解碼模塊，用于將輸入的四個不同尺度的第一特征圖C₁、C₂、C₃和C₄，分別進行卷積得到相同通道數的四個第二特征圖M₁、M₂、M₃和M₄；將四個第二特征圖中除了尺寸最大的一張第二特征圖以外的其他第二特征圖進行雙線性上采樣操作，得到二倍的特征圖，并將第一特征圖和上采樣模塊得到的二倍特征圖中同一尺度的特征圖進行特征融合，輸出第三特征圖；

熱圖模塊：用于將第三特征圖進行轉化，得到人體姿態估計所需要的熱圖。