[發明專利]基于殘差注意機制時空聯合模型的行人重識別方法及裝置

有效

• 申請號: 201911417821.4
• 申請日: 2019-12-31
• 公開（公告）號: CN111160297B
• 公開（公告）日: 2022-05-13
• 發明（設計）人: 邵振峰;汪家明
• 申請（專利權）人: 武漢大學
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V10/82;G06N3/04
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 嚴彥

1.一種基于殘差注意力機制時空聯合模型的行人重識別方法，其特征在于：包括以下步驟，

步驟a，通過預訓練得到的ResNet-50模型對輸入行人x進行特征提取，特征矩陣表示為f；

步驟b，構建一個殘差注意力機制網絡，網絡結構包括殘差注意力機制模塊、特征采樣層、全局池化層和局部特征連接層；

步驟c，設步驟a得到維度為H×W×C的特征矩陣f，以特征矩陣f作為殘差注意力機制網絡的輸入，以對應的身份信息y作為目標輸出；其中H,W,C分別表示特征圖的長、寬和通道數；

根據殘差注意力機制模塊，對特征矩陣f每個空間位置進行通道求平均，作為空間權重矩陣；通過softmax對空間權重矩陣進行激活，來保障卷積核學習到不同的特征，計算注意力機制圖M_SA，由F_RSA＝f*M_SA+f得到維度為H×W×C的特征矩陣F_RSA；

計算注意力機制圖M_SA和特征矩陣F_RSA時采用如下方式，

其中，(i,j)為空間位置信息，t為通道序號，f_t(i,j)為特征矩陣f第t個通道中空間位置為(i,j)處的像素點，e為自然對數的底，F_RSA(i,j)為特征矩陣F_RSA中空間位置為(i,j)處的像素點；

步驟d，通過特征采樣層，將維度為H×W×C的特征矩陣F_RSA采樣為維度的局部特征矩陣通過全局池化層計算局部特征向量

步驟e，通過局部特征連接層，將局部特征連接成為一個特征向量V_RSA，計算特征向量V_RSA與行人身份y之間的交叉熵損失，在訓練后輸出得到訓練好的殘差注意力機制網絡；

步驟f，對于測試的行人圖像x_α和x_β，根據步驟e所得訓練好的殘差注意力機制網絡，得到分別相應特征向量為V_RSA-α和V_RSA-β，使用余弦距離來計算特征距離并記為視覺概率P_V；

步驟g，根據訓練樣本行人標簽中的攝像頭ID和幀號信息時空概率建模，根據所得時空模型，計算時空概率P_ST；

步驟h，利用步驟f得到的視覺概率P_V，和步驟g得到的時空概率P_ST，最終的聯合時空概率，得到行人重識別結果。

2.根據權利要求1所述基于殘差注意力機制時空聯合模型的行人重識別方法，其特征在于：步驟e中，利用隨機梯度下降法反向傳播，優化殘差注意力機制網絡參數，直至達到訓練次數上限，得到訓練好的殘差注意力機制網絡。

3.根據權利要求1所述基于殘差注意力機制時空聯合模型的行人重識別方法，其特征在于：步驟g中，根據訓練樣本行人標簽中的攝像頭ID和幀號信息時空概率建模后，對概率模型進行拉普拉斯平滑處理。

4.根據權利要求1或2或3所述基于殘差注意力機制時空聯合模型的行人重識別方法，其特征在于：步驟i中，利用步驟f得到的視覺概率P_V，和步驟g得到的時空概率P_ST，最終的聯合概率表示為，

其中，λ₁,γ₁,λ₂,γ₂為用于平衡視覺概率和時空概率的超參數。