[發明專利]基于姿態引導重識別特征的并行人體姿態檢測跟蹤方法

在審

• 申請號: 202111305695.0
• 申請日: 2021-11-05
• 公開（公告）號: CN114038058A
• 公開（公告）日: 2022-02-11
• 發明（設計）人: 唐宏陽;方浩樹;李杰鋒;盧策吾
• 申請（專利權）人: 上海交通大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/25;G06V20/80;G06V10/764;G06V10/80;G06V10/82;G06V10/74;G06N3/04;G06N3/08
• 代理公司: 上海交達專利事務所 31201
• 代理人: 王毓理;王錫麟

1.一種基于姿態引導重識別特征的并行人體姿態檢測跟蹤方法，其特征在于，包括以下步驟：

步驟A，利用目標檢測模型或從已經標注的數據集中得到單獨的人體區域框圖片，并將圖片統一成相同尺寸；

步驟B，利用深度學習網絡構建的resnet網絡，從步驟A得到的人體區域框圖片中提取包含豐富語義信息的多通道的特征圖；

步驟C，在步驟B的骨干網絡后并聯構建人體姿態檢測分支網絡和人體重識別分支網絡，分別①通過人體姿態檢測分支網絡將特征圖轉換為人體姿態檢測熱力圖，姿態檢測熱力圖的對應真實值是以關節點位置為中心的二維高斯分布、②通過人體重識別分支網絡將特征圖轉換為人體重識別特征特征向量；再根據人體姿態檢測分支得到的姿態檢測熱力圖對重識別特征進行加權引導融合；

步驟D，將訓練圖片和對應的人體姿態標注以及人體實例編號標注輸入到步驟B得到的骨干網絡中，經前向傳播得到輸出結果，按照對應規則計算相應的損失函數，然后利用反向傳播算法進行梯度回傳，進而更新該骨干網絡以及后面并聯的兩個分支網絡的參數；

步驟E，在線階段，將待檢測的視頻序列依次輸入到目標檢測模型得到不同人體的檢測框；將檢測框尺寸統一化之后輸入到步驟D更新后的骨干網絡中得到人體姿態檢測結果和增強后的人體重識別特征向量，將同一張圖片的不同人體檢測結果映射回到原圖片，構建跟蹤匹配池并依次進行人體重識別特征匹配、人體檢測框匹配和人體姿態匹配。

2.根據權利要求1所述的基于姿態引導重識別特征的并行人體姿態檢測跟蹤方法，其特征是，所述的人體姿態檢測分支網絡包括：兩個順序串聯的卷積神經網絡和一組CNN輸出層，其中：每個卷積神經網絡包括：二維卷積層、批歸一化層、relu激活層和像素重排層，在兩個卷積神經網絡后通過一組CNN輸出層得到通道數為關節點數量的姿態檢測熱力圖。

3.根據權利要求1所述的基于姿態引導重識別特征的并行人體姿態檢測跟蹤方法，其特征是，所述的人體重識別分支網絡包括：卷積層、激活層和反卷積層，其中：卷積層-激活層-反卷積層順序連接構成一組網絡模塊，兩個網絡模塊串聯后再接入一個輸出的CNN層。

4.根據權利要求1所述的基于姿態引導重識別特征的并行人體姿態檢測跟蹤方法，其特征是，所述的加權引導融合是指：人體姿態檢測熱力圖經過一組輸入輸出維度固定的卷積網絡，得到通道數和初始人體重識別特征相同的姿態特征圖，然后通過Sigmoid層將姿態特征圖轉換為對應維度的權重分布，得到的權重分布對初始的重識別特征圖進行加權融合，即按位相乘，這一過程特征圖維度不變，然后經過池化操作降維得到一組特征向量以實現隱式變換，得到的特征向量經過一組可訓練的全連接層，輸出人體實例的分類結果。

5.根據權利要求1所述的基于姿態引導重識別特征的并行人體姿態檢測跟蹤方法，其特征是，所述的全連接層的輸入神經元數量和特征向量維度相同，輸出神經元數取決于步驟A得到的數據集中人體實例編號的數量；通過多分類損失函數可以訓練人體重識別分支網絡，在推理階段，則不需要多分類網絡這一步驟。

6.根據權利要求1所述的基于姿態引導重識別特征的并行人體姿態檢測跟蹤方法，其特征是，所述的人體重識別特征匹配是指：計算前后幀不同人體歸一化后的重識別特征之間的余弦相似度，當相似度滿足設定的閾值，則將兩者進行匹配。

7.根據權利要求1所述的基于姿態引導重識別特征的并行人體姿態檢測跟蹤方法，其特征是，所述的人體檢測框匹配是指：對于人體重識別特征匹配未成功的檢測框，計算檢測框位置和前面若干幀檢測框位置的交并比，當交并比滿足設定的閾值，則將兩者進行匹配。