[發明專利]一種基于期望最大化的行人重識別方法

有效

• 申請號: 202010567949.5
• 申請日: 2020-06-19
• 公開（公告）號: CN111738143B
• 公開（公告）日: 2022-04-19
• 發明（設計）人: 周非;陳文峰
• 申請（專利權）人: 重慶郵電大學
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京同恒源知識產權代理有限公司 11275
• 代理人: 楊柳岸

1.一種基于期望最大化的行人重識別方法，其特征在于：該方法包括以下步驟：

S1：對輸入的訓練和測試圖像進行不同預處理操作；

S2：構建ResNet50骨干網絡，并將ResNet50分成Stage1-4四個階段，依次提取由淺入深的特征信息；

S3：構建一個注意力模塊，此模塊輸入輸出維度一致，可插入ResNet50的Stage-2和Stage3階段，模塊中包括兩個部分：用協方差作為相關函數的Non-Local操作與EM算法對特征進行重構的操作；

S4：在骨干網絡ResNet50提取特征后將網絡分成兩個分支：全局分支Global Branch、局部分支Local Branch，全局分支提取行人完整特征，局部分支提取經過特征擦除操作后特征；

S5：利用三元組Triplet損失函數、交叉熵Cross Entropy損失函數及中心Center損失函數聯合對兩個分支提取的訓練集特征向量分別進行訓練；

S6：將Gallery的行人圖像集輸入S5訓練好的模型中，從而得到一個行人特征數據庫，庫中每個特征都對應唯一一個行人ID；

S7：向CNN模型中輸入Query查詢圖像得到輸入特征，將此特征與S6中特征庫中行人特征進行相似度度量，按相似度從大到小排序，返回用戶指定數量的行人圖像。

2.根據權利要求1所述的一種基于期望最大化的行人重識別方法，其特征在于：在所述步驟S1中，預處理操作包括：

隨機水平翻轉，即以給定的概率翻轉輸入的圖像集合；

圖像旋轉，即以一定的角度旋轉輸入行人圖像；

色彩增強，即隨機更改輸入RGB圖像每個通道的強度。

3.根據權利要求2所述的一種基于期望最大化的行人重識別方法，其特征在于：在所述步驟S2中，在骨干網ResNet50的Stage3和Stage4兩個階段用空洞卷積DilatedConvolutions進行對特征進行卷積操作，從而獲得更大的特征圖，得到足夠的特征信息。

4.根據權利要求3所述的一種基于期望最大化的行人重識別方法，其特征在于：在所述步驟S3中，構建注意力模塊的分為兩個階段：

階段1：對輸入特征進行Non-Local計算，相關度通過計算像素間協方差來獲得，Non-Local核心算子如下：

其中x為輸入特征圖，f(·,·)函數計算像素i和像素j之間的相關度，g(x_j)函數計算特征圖在像素j上的映射，C(x)表示歸一化系數，y_i表示i像素以外的所有其他像素經過g函數變換后的加權平均，權重為歸一化的相似度函數；

階段2：經過二階統計量協方差捕獲了豐富的區域間相關信息，同時帶來一部分高冗余度特征，采用EM算法對冗余特征進行稀疏重構；EM算法假設X＝{x₁,x₂,…,x_N}為所得特征信息集合，由N個觀察樣本組成，每個數據點x_i都有對應的潛在信息z_i，即最具表征力的特征信息；{X,Z}為完整的數據，其似然函數為lnp(X,Z|θ)，其中θ是模型中所有參數的集合；實際上Z中潛在信息的知識來源于后驗分布p(X,Z|θ)；EM算法通過求期望E和最大化期望M這兩步操作來最大化lnp(X,Z|θ)的似然值；

E：Q(θ,θ⁽ⁱ⁾)＝E_Z[ln p(X,Z|θ)|X,θ⁽ⁱ⁾]

＝∑_Zln p(X,Z|θ)P(Z|X,θ⁽ⁱ⁾)

其中，p(Z|X,θ⁽ⁱ⁾)是在給定特征信息數據X和第i次參數估計θ⁽ⁱ⁾下隱變量數據Z，即注意力信息的概率分布；M步通過將E步求得的期望最大化來更新參數得到第i+1次迭代的參數估計值θ⁽ⁱ⁺¹⁾：

M：