[發明專利]一種人體骨骼關鍵點的快速檢測方法及系統

有效

• 申請號: 201910310417.0
• 申請日: 2019-04-17
• 公開（公告）號: CN110084161B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 林倞;葉靈昶;王青
• 申請（專利權）人: 中山大學
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V10/82;G06N3/0464
• 代理公司: 廣州容大知識產權代理事務所(普通合伙) 44326
• 代理人: 劉新年

1.一種人體骨骼關鍵點的快速檢測方法，包括如下步驟：

步驟S1，構建并訓練一卷積神經網絡，以通過所述卷積神經網絡利用多尺寸圖像特征信息來檢測圖像中人體的各個部位；

步驟S2，獲取二維彩色圖；

步驟S3，將所述二維彩色圖輸入至步驟S1中經訓練好的卷積神經網絡中，利用多尺寸圖像特征信息來檢測圖像中人體的各個部位，并將檢測到的部位聚合起來以形成單人的骨骼點集合，完成關鍵點的檢測；

步驟S1進一步包括：

步驟S100，收集二維彩色圖，對所述二維彩色圖中人體骨骼關鍵點進行標注得到相應的二維坐標；

步驟S101，構建卷積神經網絡，并隨機初始化該卷積神經網絡的參數；

步驟S102，以所述二維彩色圖為卷積神經網絡的輸入，以所述二維彩色圖的特征圖和每個骨骼關鍵點所屬人體的標簽信息為卷積神經網絡的目標輸出，使用隨機梯度下降算法對所述卷積神經網絡進行端到端的模型訓練，更新網絡中的參數，使網絡輸出逐漸趨于目標輸出；

所述卷積神經網絡包括初級特征提取模塊和人體特征提取模塊，所述初級特征提取模塊用以提取低級特征，人體特征提取模塊用以組合低級特征來形成高級特征進而表達人體各部位特征，通過組合二維深度可分離3×3卷積層和二維1×1卷積層來替換現有網絡中的二維3×3卷積層，以在原有能對圖像進行特征提取的基礎上，減少網絡的參數；

所述卷積神經網絡采用如下目標損失函數來衡量卷積神經網絡的輸出和所希望的輸出之間的差距：

其中K為骨骼關鍵點的數量，z為輸出特征圖在二維空間上的坐標，Z為輸出特征圖在二維空間上的范圍，N為圖中人的數量，b^k(z)是骨骼點k的輸出特征圖，是骨骼點k的目標特征圖，σ為高斯激活函數中的常數，h_k(x_nk)為第n個人的骨骼點k的輸出人體標簽特征圖，為經過網絡的輸出人體標簽特征圖中除第n個人以外的所有人n^′所屬的標簽值，為經過網絡的輸出人體標簽特征圖中第n個人所屬的標簽值：

其中，n為圖中第n個人，n^′為圖中除第n個人以外所有人，h_k為骨骼點k的輸出人體標簽特征圖，x_nk為圖像中第n個人骨骼點k的坐標位置。

2.如權利要求1所述的一種人體骨骼關鍵點的快速檢測方法，其特征在于：于步驟S100中，對包括右肩、右肘、右腕、左肩、左肘、左腕、右髖、右膝、右踝、左髖、左膝、左踝、頭頂、脖子在內的各部位進行標注，計算二維彩色圖的特征圖和每個骨骼關鍵點所屬人體的標簽信息。

3.如權利要求2所述的一種人體骨骼關鍵點的快速檢測方法，其特征在于：對所述二維彩色圖生成特征圖的方法是以每個人體骨骼關鍵點的二維坐標為中心，逐個生成二維高斯分布的概率圖；對所述二維彩色圖生成人體標簽信息的方法是以每個人體骨骼關鍵點的二維坐標為中心，根據骨骼關鍵點所屬人體分別為其賦值，其余不屬于骨骼關鍵點的位置賦零。

4.如權利要求1所述的一種人體骨骼關鍵點的快速檢測方法，其特征在于：于步驟S3中，將二維彩色圖輸入到訓練好的卷積神經網絡后得到各個骨骼點的概率置信圖和每個骨骼點的人體標簽圖，并通過非極大值抑制算法和聚類算法將這些離散的骨骼點聚合起來作為一個人體的骨骼點集合，得到所需人體骨骼關鍵點的二維坐標。

5.如權利要求4所述的一種人體骨骼關鍵點的快速檢測方法，其特征在于，所述非極大值抑制算法如下：對于每個骨骼點的概率置信圖上的每一個點，在以該點為中心點的范圍內，對范圍內的點進行遍歷并找出最大值，同時將其他非最大值的點賦值為零，以每個骨骼點的概率置信圖為輸入，將一定范圍內概率置信度為極大值的點找出來，最終形成輸入圖像中每個骨骼點的預測位置。

6.如權利要求4所述的一種人體骨骼關鍵點的快速檢測方法，其特征在于，所述聚類算法如下：根據圖像中每個骨骼點的預測位置以及每個骨骼點的人體標簽圖，獲得每個骨骼點的預測位置以及這些位置上的人體標簽信息，通過判斷不同骨骼點間這些人體標簽信息的絕對值是否小于一定閾值來決定這些骨骼點是否屬于同一人，同時篩去那些骨骼點數量不足預設值以及預測結果形成的人體規格小于預設值的結果。