[發明專利]關節點檢測方法、姿態識別方法及裝置

在審

• 申請號: 202010320061.1
• 申請日: 2020-04-21
• 公開（公告）號: CN111652054A
• 公開（公告）日: 2020-09-11
• 發明（設計）人: 蔡元昊;王志成;周而進
• 申請（專利權）人: 北京邁格威科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 何少巖

1.一種關節點檢測方法，其特征在于，包括：

獲取待檢測的人物圖像；

通過多階段密集連接殘差神經網絡對所述人物圖像進行關節點檢測，得到所述人物圖像中所包含的所有關節點的關節熱力圖；其中，所述多階段密集連接殘差神經網絡包括多個單階段密集連接殘差神經網絡；所述單階段密集連接殘差神經網絡包括多個密集連接殘差單元；

基于所述關節熱力圖確定所述人物圖像中的關節點。

2.根據權利要求1所述的方法，其特征在于，所述獲取待檢測的人物圖像的步驟，包括：

獲取待檢測的原始圖像；

將所述原始圖像輸入至目標檢測網絡，得到標注有人物包圍框的原始圖像；

截取所述人物包圍框所在區域，得到待檢測的人物圖像。

3.根據權利要求1所述的方法，其特征在于，所述多階段密集連接殘差神經網絡包括多個階段的網絡結構，每個階段的網絡結構均包括單階段密集連接殘差神經網絡、上采樣網絡和熱力圖網絡；

所述通過多階段密集連接殘差神經網絡對所述人物圖像進行關節點檢測，得到所述人物圖像中所包含的所有關節點的關節熱力圖的步驟，包括：

對于每個階段的網絡結構，通過該階段內的單階段密集連接殘差神經網絡對該階段對應的指定圖像進行下采樣處理，得到該階段的下采樣特征圖；通過該階段內的上采樣網絡對該階段的下采樣特征圖進行上采樣處理，得到該階段的人物特征圖；通過該階段內的熱力圖網絡基于該階段的人物特征圖生成當前熱力圖；其中，第一階段的網絡結構對應的指定圖像為所述人物圖像，其余階段的網絡結構對應的指定圖像為上一階段得到的人物特征圖；

將最后一階段的網絡結構生成的當前熱力圖，作為所述人物圖像中所包含的所有關節點的關節熱力圖。

4.根據權利要求3所述的方法，其特征在于，所述密集連接殘差單元包括預設分支數量的卷積分支；各個所述卷積分支中包含的卷積核數量不同；

所述通過該階段內的單階段密集連接殘差神經網絡對該階段對應的指定圖像進行下采樣處理的步驟，包括：

對于每個密集連接殘差單元，通過矩陣形式表征該階段對應的指定圖像，并按照特征通道將所述指定圖像均勻拆分為多個矩陣；其中，所述特征通道與人物對象的關節點一一對應；所述矩陣的數量為所述預設分支數量；

將各個所述矩陣分別輸入至該密集連接殘差單元的各個卷積分支，并按照所述特征通道合并各個所述卷積分支輸出的特征，以實現對所述指定圖像進行下采樣處理。

5.根據權利要求4所述的方法，其特征在于，所述將各個所述矩陣分別輸入至該密集連接殘差單元的各個卷積分支的步驟，包括：

對于每個卷積分支，將該卷積分支內的第n-1個卷積核輸出的特征，與該卷積分支對應的前一卷積分支內的第n個卷積核輸出的特征進行特征融合，并將所述特征融合后的特征輸入至該卷積分支內的第n個卷積核；其中，n為大于1的自然數；

或，將該卷積分支內的第n-1個卷積核輸出的特征，輸入至該卷積分支的第n個卷積核。

6.根據權利要求3所述的方法，其特征在于，所述方法還包括：

基于各個階段的網絡結構生成的當前熱力圖計算平方損失值，用以訓練所述多階段密集連接殘差神經網絡。

7.根據權利要求3所述的方法，其特征在于，所述方法還包括：

通過姿態改善網絡優化所述多階段密集連接殘差神經網絡的最后一階段輸出的人物特征圖，得到目標特征圖；

基于所述目標特征圖生成所述人物圖像中所包含的所有關節點的關節熱力圖。

8.根據權利要求7所述的方法，其特征在于，所述姿態改善網絡包括第一卷積層、頂層子網絡、中間子網絡、底層子網絡和第二卷積層；其中，第一卷積層的輸出分別與所述頂層子網絡、所述中間子網絡和所述底層子網絡的輸入相連，所述第二卷積層的輸入分別與所述頂層子網絡、所述中間子網絡和所述底層子網絡的輸出相連；

所述中間子網絡包括依次相連的全局池化層、第三卷積層、第四卷積層和第一激活函數；所述底層子網絡包括依次連接的第五卷積層、深度可分離卷積層和第二激活函數。