[發明專利]人體關節點檢測方法、裝置、系統和存儲介質

有效

• 申請號: 201711462845.2
• 申請日: 2017-12-28
• 公開（公告）號: CN108875523B
• 公開（公告）日: 2021-02-26
• 發明（設計）人: 王志成;陳逸倫;俞剛
• 申請（專利權）人: 北京曠視科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04
• 代理公司: 北京市磐華律師事務所 11336
• 代理人: 高偉;卜璐璐

1.一種人體關節點檢測方法，其特征在于，所述方法包括：

獲取待處理圖像并從所述待處理圖像中提取人體框圖像；

利用訓練好的神經網絡對所述人體框圖像進行關節點檢測，以生成人體關節點檢測結果，所述神經網絡包括全局網絡和精煉網絡；所述神經網絡的訓練包括：

計算所述全局網絡的全局損失，并將所述全局損失回傳至所述全局網絡以優化所述全局網絡的參數；

計算所述精煉網絡的難關節點的損失，并將所述難關節點的損失回傳至所述精煉網絡和所述全局網絡以優化所述神經網絡的參數；

其中，所述難關節點包括：損失值由高到低排序的全部關節點中的前M個關節點，其中M為自然數。

2.根據權利要求1所述的方法，其特征在于，所述全局網絡為U型金字塔結構的神經網絡，所述全局網絡接收所述人體框圖像并輸出第一特征圖，所述第一特征圖為金字塔結構的多層卷積特征圖。

3.根據權利要求2所述的方法，其特征在于，所述精煉網絡為包括殘差卷積塊的神經網絡，所述精煉網絡接收所述全局網絡輸出的所述第一特征圖并輸出第二特征圖。

4.根據權利要求3所述的方法，其特征在于，所述精煉網絡包括多層殘差卷積塊單元、上采樣單元和拼接單元，其中：

每層殘差卷積塊單元包括不同數量的所述殘差卷積塊，不同層的殘差卷積塊單元接收不同尺寸的所述第一特征圖，并輸出不同尺寸的所述第二特征圖；

所述上采樣單元將所述不同尺寸的第二特征圖變換為相同尺寸的特征圖；以及

所述拼接單元將所述相同尺寸的特征圖拼接為第三特征圖。

5.根據權利要求4所述的方法，其特征在于，所述生成人體關節點檢測結果包括：

基于所述第三特征圖生成與各個關節點各自對應的熱力圖；以及

針對每個熱力圖，取該熱力圖中具有最大值的點的坐標作為與該熱力圖對應的關節點的預測坐標。

6.根據權利要求4所述的方法，其特征在于，所述生成人體關節點檢測結果包括：

基于所述第三特征圖生成每個關節點的預測坐標。

7.根據權利要求1所述的方法，其特征在于，所述M的取值為所述全部關節點數目的一半并取整。

8.根據權利要求1-6中的任一項所述的方法，其特征在于，所述方法還包括：

在對所述人體框圖像進行關節點檢測之前，將所述人體框圖像調整為預定尺寸。

9.根據權利要求1-6中的任一項所述的方法，其特征在于，所述從所述待處理圖像中提取人體框圖像包括：

從所述待處理圖像中檢測人的位置，輸出人體檢測框；以及

基于所述人體檢測框對所述待處理圖像進行摳圖以得到所述人體框圖像。

10.一種人體關節點檢測裝置，其特征在于，所述裝置包括：

提取模塊，用于獲取待處理圖像并從所述待處理圖像中提取人體框圖像；以及

關節點檢測模塊，用于利用訓練好的神經網絡對所述提取模塊提取的所述人體框圖像進行關節點檢測，以生成人體關節點檢測結果，所述神經網絡包括全局網絡和精煉網絡；所述神經網絡的訓練包括：

計算所述全局網絡的全局損失，并將所述全局損失回傳至所述全局網絡以優化所述全局網絡的參數；

計算所述精煉網絡的難關節點的損失，并將所述難關節點的損失回傳至所述精煉網絡和所述全局網絡以優化所述神經網絡的參數；

其中，所述難關節點包括：損失值由高到低排序的全部關節點中的前M個關節點，其中M為自然數。

11.一種人體關節點檢測系統，其特征在于，所述系統包括存儲裝置和處理器，所述存儲裝置上存儲有由所述處理器運行的計算機程序，所述計算機程序在被所述處理器運行時執行如權利要求1-9中的任一項所述的人體關節點檢測方法。

12.一種存儲介質，其特征在于，所述存儲介質上存儲有計算機程序，所述計算機程序在運行時執行如權利要求1-9中的任一項所述的人體關節點檢測方法。