[發明專利]一種結合兩個向量嵌入空間的高精度步態識別方法

在審

• 申請號: 202110109320.0
• 申請日: 2021-01-27
• 公開（公告）號: CN112818808A
• 公開（公告）日: 2021-05-18
• 發明（設計）人: 申富饒;李雪健;韓峰;趙健
• 申請（專利權）人: 南京大學;南京精識慧飛科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 江蘇圣典律師事務所 32237
• 代理人: 胡建華

1.一種結合兩個向量嵌入空間的高精度步態識別方法，其特征在于，包括如下步驟：

步驟1，獲取步態數據訓練集，對所述步態數據訓練集中的所有訓練數據進行預處理，使用預處理后的訓練數據進行訓練，計算損失并優化網絡參數后，得到訓練完成的步態識別模型；

步驟2，獲取步態數據測試集，對所述步態數據測試集中的所有測試數據進行預處理，將預處理后的測試數據輸入所述訓練完成的步態識別模型，獲得步態識別結果。

2.根據權利要求1所述的一種結合兩個向量嵌入空間的高精度步態識別方法，其特征在于，所述預處理包括：

使用背景減除法得到數據集的步態視頻中的行人區域，包括：截取所述步態視頻中沒有行人出現的任意一幀作為背景圖像，將所述步態視頻中的每一幀圖像作為待處理圖像，計算獲得所述待處理圖像與背景圖像像素差值大于預設數量閾值的區域，作為出現行人的區域；

截取所述待處理圖像中出現行人的區域，將所述出現行人的區域的像素值標記為1，將除了所述出現行人的區域的其他區域的像素值標記為0；

將標記后的待處理圖像按照預設尺寸的高度和寬度進行對齊并輸出，得到步態輪廓圖序列，所述步態輪廓圖為一個包含行人與背景的二值圖。

3.根據權利要求1所述的一種結合兩個向量嵌入空間的高精度步態識別方法，其特征在于，所述步驟1，包括：

步驟1-1，從所述訓練數據的步態輪廓圖序列中采樣獲得一批樣本步態輪廓圖序列，將所述樣本步態輪廓圖序列送入SetNet網絡，得到中間步態特征；

步驟1-2，將所述中間步態特征輸入批歸一化層，得到歸一化后的步態特征；

步驟1-3，用所述歸一化后的步態特征計算三元組損失；

步驟1-4，將所述歸一化后的步態特征送入歸一化到長度為1，偏置為0的全連接層中，得到分類結果；

步驟1-5，使用所述分類結果和歸一化后步態特征計算帶角度間隔的Softmax損失；

步驟1-6，計算所述三元組損失和帶角度間隔的Softmax損失的帶權和，作為最終的損失；

步驟1-7，使用所述最終的損失進行反向傳播優化SetNet網絡參數，不斷重復所述步驟1-1至步驟1-7，直到所述SetNet網絡收斂。

4.根據權利要求3所述的一種結合兩個向量嵌入空間的高精度步態識別方法，其特征在于，所述步驟1-1，包括：

給定每次采樣的批次大小為(16，6)，即先在所述訓練集中隨機采樣出16個行人，對于每個所述行人，隨機采樣6個步態輪廓圖序列；

將所述步態輪廓圖序列一并送入SetNet網絡中，所述SetNet網絡將步態輪廓圖序列作為集合，忽略所述步態輪廓圖序列的先后順序關系，提取集合層面的特征，經過所述SetNet網絡后輸出中間步態特征。

5.根據權利要求4所述的一種結合兩個向量嵌入空間的高精度步態識別方法，其特征在于，所述步驟1-2，包括：

假設訓練時數據的批量大小為N，用B代表這一批量的數據，用K表示數據的特征維度，根據如下公式計算每一維度的均值和方差

其中，k為特征的維度，為第i個樣本的第k維度特征取值，k∈[0，K-1]；

根據如下公式，對輸入數據的每一維度進行處理：

其中，∈是一個很小的正數，取∈＝10^-9，用于防止出現除0的情況；

在訓練過程中不斷記錄每一個批量的均值和方差，在后續測試階段用在訓練過程中得到的訓練集整體的均值和方差代替測試數據的均值和方差，用于對所述測試數據進行歸一化。