[發明專利]基于姿態引導重識別特征的并行人體姿態檢測跟蹤方法

在審

• 申請號: 202111305695.0
• 申請日: 2021-11-05
• 公開（公告）號: CN114038058A
• 公開（公告）日: 2022-02-11
• 發明（設計）人: 唐宏陽;方浩樹;李杰鋒;盧策吾
• 申請（專利權）人: 上海交通大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/25;G06V20/80;G06V10/764;G06V10/80;G06V10/82;G06V10/74;G06N3/04;G06N3/08
• 代理公司: 上海交達專利事務所 31201
• 代理人: 王毓理;王錫麟

一種基于姿態引導重識別特征的并行人體姿態檢測跟蹤方法，通過輸入視頻并檢測人體區域后統一尺寸，然后檢測人體姿態并提取姿態引導增強的重識別特征，最后利用多語義信息進行前后幀匹配，完成人體姿態檢測跟蹤。本發明能夠同時輸出姿態檢測結果和人體重識別特征，其中人體重識別特征又可以利用人體姿態進行引導增強，利用包括重識別特征、人體檢測框和姿態等多種語義信息進行跟蹤匹配。

技術領域

本發明涉及的是一種計算機視覺和模式識別領域的技術，具體是一種基于姿態引導重識別特征的并行人體姿態檢測跟蹤方法。

背景技術

人體姿態檢測跟蹤的目標是檢測視頻每一幀的人體關節點姿態并在時序上構造匹配關系。人體姿態檢測跟蹤是計算機視覺領域中的重要分支任務，能夠促進視頻場景中的行為理解和預測，對人體視頻動作分析具有重要作用。現有人體姿態檢測跟蹤技術一般是將檢測和跟蹤拆解成兩個較為獨立的步驟。這樣做的缺點是忽視兩者之間的內在聯系，同時也造成推理時間復雜度的增加，不利于算法的實際部署和應用。

發明內容

本發明針對現有技術在人體姿態和位置大幅度突變時，無法準確完成跟蹤關聯的不足、推理階段過于復雜以及訓練時耗時且復雜的缺陷，提出一種基于姿態引導重識別特征的并行人體姿態檢測跟蹤方法，能夠同時輸出姿態檢測結果和人體重識別特征，其中人體重識別特征又可以利用人體姿態進行引導增強，利用包括重識別特征、人體檢測框和姿態等多種語義信息進行跟蹤匹配。

本發明是通過以下技術方案實現的：

本發明涉及一種基于姿態引導重識別特征的并行人體姿態檢測跟蹤方法，包括以下步驟：

步驟A，利用目標檢測模型或從已經標注的數據集中得到單獨的人體區域框圖片，并將圖片統一成相同尺寸。

所述的目標檢測模型采用但不限于：YOLO-v3。

所述的數據集中的人體區域框圖片帶有人體姿態標注、人體實例編號標注。

步驟B，利用深度學習網絡構建的resnet網絡，從步驟A得到的人體區域框圖片中提取包含豐富語義信息的多通道的特征圖。

所述的resnet網絡為：多個殘差塊串聯而成，每個殘差塊是由卷積層、歸一化層和激活層組成，并且殘差塊內部有一個輸入直接指向輸出的跳躍連接。

步驟C，在步驟B的骨干網絡后并聯構建人體姿態檢測分支網絡和人體重識別分支網絡，分別①通過人體姿態檢測分支網絡將特征圖轉換為人體姿態檢測熱力圖，姿態檢測熱力圖的對應真實值是以關節點位置為中心的二維高斯分布、②通過人體重識別分支網絡將特征圖轉換為人體重識別特征特征向量；再根據人體姿態檢測分支得到的姿態檢測熱力圖對重識別特征進行加權引導融合。

所述的人體姿態檢測分支網絡包括：兩個順序串聯的卷積神經網絡和一組CNN輸出層，其中：每個卷積神經網絡包括：二維卷積層、批歸一化層、relu激活層和像素重排(pixel shuffle)層，在兩個卷積神經網絡后通過一組CNN輸出層得到通道數為關節點數量的姿態檢測熱力圖。

所述的人體重識別分支網絡包括：卷積層、激活層和反卷積層，其中：卷積層-激活層-反卷積層順序連接構成一組網絡模塊，兩個網絡模塊串聯后再接入一個輸出的CNN層。

所述的加權引導融合是指：人體姿態檢測熱力圖經過一組輸入輸出維度固定的卷積網絡，得到通道數和初始人體重識別特征相同的姿態特征圖，然后通過Sigmoid層將姿態特征圖轉換為對應維度的權重分布，得到的權重分布對初始的重識別特征圖進行加權融合，即按位相乘，這一過程特征圖維度不變。然后經過池化操作降維得到一組特征向量以實現隱式變換，得到的特征向量經過一組可訓練的全連接層，輸出人體實例的分類結果。