[發明專利]基于輕量級多分支網絡的二維人體姿態估計方法及系統

有效

• 申請號: 201911212972.6
• 申請日: 2019-12-02
• 公開（公告）號: CN110969124B
• 公開（公告）日: 2022-09-27
• 發明（設計）人: 鐘福金;李明陽
• 申請（專利權）人: 重慶郵電大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/77;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 重慶輝騰律師事務所 50215
• 代理人: 王海軍

1.一種基于輕量級多分支網絡的二維人體姿態估計方法，其特征在于，包括以下步驟：

S1、輸入帶有關節點注釋的行人姿態的圖片集合作為數據集，對數據集進行預處理，并根據關節點注釋生成以關節點為中心的真實標記熱力圖；

S2、基于預處理后的數據集，通過行人檢測器用矩形框框選出圖片中的行人，將矩形框區域內的圖像記為圖像M；

S3、將圖像M輸入到主干網絡中，進行特征提取和信息編碼；

S4、通過解碼器對主干網絡的不同編碼階段進行解碼，形成具有多個解碼分支的網絡結構，即神經網絡的后端網絡，同時，在各解碼分支的末端生成特征圖；

S5、將各解碼分支生成的特征圖與真實標記熱力圖進行均方損失的求解，并將各解碼分支的均方損失之和回傳給主干網絡重復編碼解碼過程，對神經網絡進行迭代訓練；

S6、經過多輪訓練后，神經網絡損失趨于穩定，迭代訓練過程結束，得到訓練好的神經網絡模型；

S7、將包含行人的圖像輸入到訓練好的神經網絡模型中，訓練好的神經網絡模型輸出該圖像對應的關節點預測熱力圖，選取該熱力圖的最高概率值，將最高概率值對應的坐標作為關節點在圖像中的坐標位置輸出，并對人體姿態進行可視化處理；

其中，解碼過程包括：

S51、調節所要解碼特征圖的空間信息，采用空間注意力通道調節特征圖各像素的權重，通過1×1卷積和Sigmoid進行歸一化處理，過濾空間層面的噪聲信息干擾；

S52、對特征圖進行上采樣解碼，使用深度轉置卷積將特征圖放大2倍，將深度轉置卷積的每個通道與對應通道的輸入特征圖分別進行運算，提取特征圖各個通道的解碼特征信息；

S53、通過1×1逐點卷積整合各個通道提取到的解碼特征信息，并縮減輸出通道數，進一步壓縮參數量；

S54、利用通道注意力對解碼后輸出的各通道的權重進行調整，從而完成整個解碼過程。

2.根據權利要求1所述的一種基于輕量級多分支網絡的二維人體姿態估計方法，其特征在于，所述預處理包括：對數據集中的原始圖像進行隨機翻轉、隨機旋轉、隨機縮放。

3.根據權利要求1所述的一種基于輕量級多分支網絡的二維人體姿態估計方法，其特征在于，真實標記熱力圖的生成過程包括：以圖像M的關節標記點為中心生成一個高斯分布的概率區域，該區域的中心概率值最大，最接近1，越遠離區域中心，概率值越小，此二維高斯概率圖即為真實標記熱力圖，關節標記點z_k＝(x_k,y_k)的真實標記熱力圖生成公式包括：

其中m_k(x,y)為標記點k在圖像上一點產生的高斯置信值，代表該點為標記點的可能性，σ²表示高斯函數的空間方差值，x，y表示圖像上任意一點的橫縱坐標，x_k，y_k表示標記點k的橫縱坐標。

4.根據權利要求1所述的一種基于輕量級多分支網絡的二維人體姿態估計方法，其特征在于，所述主干網絡上存在多個解碼分支結構，解碼分支結構分布在不同編碼階段。

5.根據權利要求1所述的一種基于輕量級多分支網絡的二維人體姿態估計方法，其特征在于，對人體姿態進行可視化處理包括：以各關節預測坐標點為圓心，以2～5像素為半徑在原圖副本上畫一個實心圓，作為關節點的標記；并按照從頭至腳的順序依次將預測點連接起來，形成肢體連線，得到具有關節點連線的人體姿態圖片和關節點具體坐標。