[發明專利]一種基于多通道時空網絡和聯合優化損失的身份識別方法

在審

• 申請號: 202010926230.6
• 申請日: 2020-09-07
• 公開（公告）號: CN112131970A
• 公開（公告）日: 2020-12-25
• 發明（設計）人: 蔣敏蘭;吳穎;陳昊然
• 申請（專利權）人: 浙江師范大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州中利知識產權代理事務所(普通合伙) 33301
• 代理人: 盧海龍

1.一種基于多通道時空網絡和聯合優化損失的身份識別方法，其特征在于：包括多通道時空網絡系統和聯合優化損失系統，所述聯合優化損失系統包括改進三元損失函數、標簽平滑正則化交叉熵損失函數兩部分，所述標簽平滑正則化交叉熵損失函數為針對傳統分類網絡在訓練過程中交叉熵損失函數，計算所述交叉熵損失中融入標簽平滑正則化，實現該方法的步驟包括：

步驟一、步態序列預處理，通過步態圖像預處理算法，將CASIA－B步態數據庫中的步態圖像，分別通過步態序列預處理成尺寸一致、中心對齊的步態輪廓序列和骨架序列；

步驟二、將步態序列預處理所得步態骨架序列和輪廓序列共同輸入多通道時空網絡系統，以充分提取步態序列間時空特征；

步驟三、結合三元組網絡建立步態身份識別模型；

步驟四、結合改進三元損失和優化交叉熵損失共同監督網絡訓練。

2.根據權利要求1所述的一種基于多通道時空網絡和聯合優化損失的身份識別方法，其特征在于：所述多通道時空網絡系統為采用多通道淺層卷積神經網絡串聯長短時記憶神經網絡的結構作為特征提取的主干網絡，并將周期內一一對應的步態骨架、輪廓序列直接作為網絡的輸入，以充分挖掘步態序列間時空信息。

3.根據權利要求1所述的一種基于多通道時空網絡和聯合優化損失的身份識別方法，其特征在于：所述改進三元損失為針對三元損失訓練過程中正負樣本的挑選方式進行改進，在正負樣本的選擇上增加更強的約束。

4.根據權利要求3所述的一種基于多通道時空網絡和聯合優化損失的身份識別方法，其特征在于：所述三元損失值的計算方法為在訓練過程每個Batch中計算所有樣本的空間歐氏距離，并通過距離原樣本最近的負樣本和距離原樣本最遠的正樣本來計算，其計算公式為：

其中，每個Batch中輸入p個類別的原樣本，并且每個類別的樣本選擇k幀不同的步態序列，組成p*k幀步態序列，L_th為最終三元損失值，a表示原樣本，A為與原樣本距離最遠的正樣本集合，B為與原樣本距離最近的負樣本集合。

5.根據權利要求4所述的一種基于多通道時空網絡和聯合優化損失的身份識別方法，其特征在于：所述標簽平滑正則化交叉熵損失函數中的標簽平滑正則化方法的計算公式為：

其中，λ為平滑標簽的權重，其取值范圍為λ∈[0,1]，n為標簽種類的個數。

6.根據權利要求5所述的一種基于多通道時空網絡和聯合優化損失的身份識別方法，其特征在于：在交叉熵損失中融入LSR后的表達式為：

7.根據權利要求6所述的一種基于多通道時空網絡和聯合優化損失的身份識別方法，其特征在于：聯合改進三元損失函數和標簽平滑正則化交叉熵損失函數，共同監督網絡訓練，融合后的所述聯合優化損失系統損失函數表達式為：L_total＝k×L_LSR-ce+L_th

其中，L_LSR-ce為加入LSR的交叉熵損失函數，L_th為改進的三元損失函數，k為融合兩種損失函數的權重系數。

8.根據權利要求1～7任一項所述的一種基于多通道時空網絡和聯合優化損失的身份識別方法，其特征在于：還包括注意力機制，通過所述多通道時空網絡系統可捕捉到關鍵幀并對其步態特征重點提取，以增加網絡模型的準確率和魯棒性。

9.根據權利要求8所述的一種基于多通道時空網絡和聯合優化損失的身份識別方法，其特征在于：所述注意力機制中包含有步態序列的權重，所述步態序列的權重為每類步態序列的共有幀數與對應長短時記憶神經網絡輸出的分數進行歸一化后所得，其計算公式為：

其中，Q_j表示對應j幀步態序列的權重系數，c_j表示長短時記憶神經網絡第j幀步態序列融合特征的輸出值。

10.根據權利要求9所述的一種基于多通道時空網絡和聯合優化損失的身份識別方法，其特征在于：根據所得權重系數Q_j進一步計算基于注意力機制的時空特征，其計算公式為：

其中，F表示基于注意力機制獲得的時空特征，Q_j為attention機制所得第j幀序列所得權重系數，為對應j幀步態骨架、輪廓序列的融合特征。