[發明專利]一種基于無監督跨模態的行人重識別方法

在審

• 申請號: 202210084577.X
• 申請日: 2022-01-25
• 公開（公告）號: CN114495004A
• 公開（公告）日: 2022-05-13
• 發明（設計）人: 潘春燕;洪培銜;吳岸聰;鄭偉詩
• 申請（專利權）人: 中山大學
• 主分類號: G06V20/52
• 分類號: G06V20/52;G06V10/44;G06V10/75;G06V10/762;G06V10/774;G06V10/764;G06V10/80;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 李斌

1.一種基于無監督跨模態的行人重識別方法，其特征在于，包括以下步驟：

S1、使用具有跨模態標簽的源數據集預訓練一個局部特征提取網絡；

S2、構建單模態聚類跨模態匹配框架，框架包括三個網絡，其中兩個網絡負責不同模態圖片，學習模態特定的特征，另一個網絡負責混合模態的圖片，學習模態共享的特征，使用訓練好的局部特征提取網絡及其參數初始化單模態聚類跨模態匹配框架的三個網絡；

S3、使用負責單模態的網絡提取模態特定的特征用于單模態聚類；

S4、使用負責混合模態的網絡輸出模態共享的特征計算聚類中心，并進行不同模態聚類的匹配和融合，得到新的偽類標；

S5、利用得到的偽類標，使用三元組損失對三個網絡同時進行有監督訓練，訓練迭代多代；

S6、返回并執行步驟S3，利用當前最新的網絡重新單模態聚類，再通過步驟S4重新匹配和融合得到新的偽類標，再進行步驟S5和步驟S6，重復步驟S3至S6直至達到停止條件；

S7、將最終得到的單模態聚類跨模態匹配框架用于實際的行人中識別。

2.根據權利要求1所述的一種基于無監督跨模態的行人重識別方法，其特征在于，步驟S1中，局部特征提取網絡采用卷積神經網絡模型Resnet50，輸入圖像經過局部特征提取網絡的所有卷積層后，利用最后一層得到的特征圖按垂直方向進行分塊，作為局部特征信息，使用該局部特征信息進行分類及損失的計算，指導網絡學習到具有判別性的局部特征信息。

3.根據權利要求1所述的一種基于無監督跨模態的行人重識別方法，其特征在于，單模態聚類跨模態匹配框架的三個網絡具體為：僅輸入可見光圖片的可見光模態網絡F_R、僅輸入近紅外圖片的近紅外模態網絡F_I以及同時輸入可見光和近紅外圖片的混合模態網絡F_M。

4.根據權利要求1所述的一種基于無監督跨模態的行人重識別方法，其特征在于，步驟S1的預訓練具體為：

源數據集的圖像經過局部特征提取網絡F_p，在F_p得到的最后一層的特征圖上按垂直方向進行分塊，分成6塊，原始特征圖的維度是h×w×c，其中h為高，w為寬，c為通道數，每一塊的維度因此是h/6×w×c，每一個分塊接著平均池化為一個維度為c的特征，得到6個維度為c的特征，每一個分塊的特征接著都送入各自對應的分類器中，即有6個不同的分類器，最終得到6個分塊的輸出的類別概率，第i個分塊的輸出的第j類的概率公式如下：

其中，W_i表示第i個分塊對應的分類器，即一個全連接層，則代表分類器全連接層的轉置后的矩陣的第k行，n表示行人類別的個數，表示網絡F_p的第i個分類器；

該公式表示對每一個分類器輸出的值做softmax得到分類概率，基于該公式，接著使用交叉熵函數，第i個分塊的交叉熵函數寫為：

其中，當且僅當輸入樣本屬于第j類時y^j為1，否則y^j為0；最終的分塊損失函數為所有分塊交叉熵的和：

同時，為了減少模態差異，將不同模態的特征都嵌入到同一個空間中，在特征分布上減少不同模態分布的差異，獲得模態共享的特征，從而提高跨模態檢索的效果，對相同行人不同模態的圖片的特征直接進行拉近，即優化目標為：

其中，表示源數據集第i個行人的可見光圖片，表示源數據集第i個行人的近紅外圖片，F_p代表分塊預訓練網絡；通過優化該目標，使得相同的行人不同模態的特征得以逐漸相同，分布逐漸相似；

運用網絡的中間層特征進行模態分布的拉近，最終的模態分布拉近的損失函數為：

其中，b代表每一個數據批次中的樣本數目，F_p,i代表網絡輸出的第i層的特征，總共有4層；

為實現這樣的模態拉近的方式，使用特殊的數據批采樣方式，具體為：

對每一個數據批，隨機采樣p個行人ID，每一個ID隨機采樣I/2張可見光圖片以及I/2張近紅外圖片，通過該采樣方式，在一個數據批內直接拉近相同行人不同模態圖片的特征；

優化L_mc，拉近不同模態之間的分布；

在源數據集上訓練預訓練網絡的預訓練總體損失函數為：

L_pre＝L_ce+λ_mcL_mc

其中，λ_mc是模態拉近損失函數L_mc的權重；利用該總體損失函數，在有標簽的源數據集上進行有監督訓練。