[發明專利]基于時空混合特征的多人步態識別方法

在審

• 申請號: 202011570903.5
• 申請日: 2020-12-26
• 公開（公告）號: CN112861605A
• 公開（公告）日: 2021-05-28
• 發明（設計）人: 成科揚;何霄兵;王文杉;師文喜;司宇
• 申請（專利權）人: 江蘇大學;中國電子科技集團公司電子科學研究院;鎮江昭遠智能科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于時空混合特征的多人步態識別方法，其特征在于，包括以下步驟：

步驟1.1：使用行人分割與跟蹤方法對原始視頻幀中的行人進行分割與跟蹤；

步驟1.2：將每個行人的步態輪廓序列分別保存至對應文件夾中；

步驟1.3：選擇要識別的行人步態輪廓序列，通過步態識別網絡提取特征；

步驟1.4：通過歐氏距離度量，輸出行人的身份信息。

2.根據權利要求1所述的一種基于時空混合特征的多人步態識別方法，其特征在于，所述步驟1.1中行人分割與跟蹤的方法如下：

步驟2.1：利用兩個三維卷積對視頻幀進行特征提取；

步驟2.2：采用混合掩膜網絡，進行行人檢測與分割；

步驟2.3：通過關聯頭擴展混合掩膜網絡，將混合掩膜網絡產生的區域對應的特征圖作為輸入并且提取每個區域的關聯向量，關聯向量之間的歐幾里得距離用于將隨時間變化的檢測關聯到軌跡中，從而實現行人的跟蹤。

步驟2.4：通過選擇與樣本距離最遠的正樣本和距離最近的負樣本來計算三元組關聯損失，并優化整個跟蹤模塊，其中關聯損失如下：

其中，為視頻的檢測集，d、e分別為時間幀t_d和t_e的檢測，a_d和a_e分別為關聯向量，α為閾值。

3.根據權利要求2所述的行人分割與跟蹤方法，其特征在于，步驟2.3中提取關聯向量的方法為：

步驟3.1：將混合掩膜網絡中卷積的最后一層特征圖進行不斷上采樣，并與每一個金字塔階級的特征圖進行加法合并操作，得到新的表征能力更強的不同金字塔層次的特征圖；

步驟3.2：將新的金字塔的底層特征圖對應區域作為關聯模塊的輸入，提取行人的低維特征。

4.根據權利要求1所述的一種基于時空混合特征的多人步態識別方法，其特征在于，所述步驟1.3中通過步態識別網絡提取特征的方法：

步驟4.1：將步態視為一組由連續的行人輪廓組成的序列，通過2個偽三維殘差網絡主管道分別提取行人輪廓上半身和下半身的時空混合特征。與此同時，把不同層的特征加到多層全局管道中；

步驟4.2：利用水平金字塔池化來提取4個尺度的特征；

步驟4.3：采用三元組損失和中心損失聯合訓練的方式優化整體網絡模型，

其中：

三元組損失函數如下：

上式中，為歐氏距離，和分別為樣本、正樣本和負樣本的特征表達，a為閾值，+的含義是當[]內的值大于0的時候取該值為損失，小于0的時候損失為0。

中心損失函數如下：

上式中，x_i表示全連接層之前的特征，c_yi表示第yi個類別的特征中心。

5.根據權利要求4所述的步態識別模型，其特征在于，步驟4.1中提取行人輪廓上半身和下半身的時空混合特征的方法為：

步驟5.1：將輸入的特征圖水平分割為上下兩個部分，并通過兩個偽三維殘差網絡主管道分別進行特征提取；

步驟5.2：將提取的兩部分特征向量在水平金字塔池化時進行拼接。