[發明專利]基于鄰居樣本信息引導的跨域行人再識別方法

在審

• 申請號: 202010715219.5
• 申請日: 2020-07-23
• 公開（公告）號: CN111898665A
• 公開（公告）日: 2020-11-06
• 發明（設計）人: 種衍文;王玉杰;潘少明
• 申請（專利權）人: 武漢大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06F17/11
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 王琪

本發明設計了一種基于鄰居樣本信息引導的跨域行人再識別方法，該方法采用pytorch框架構建網絡。該方法關注鄰居樣本信息對樣本特征更新的重要作用，基于圖卷積神經網絡，并整合了共同鄰居相似度。通過源域數據監督訓練圖卷積模塊，然后將整合樣本信息的能力遷移至目標域，幫助目標域數據聚類。相比于同類方法，本發明提出的圖卷積神經模塊進一步地利用了源域的監督信息，進而提高跨域行人再識別性能。

技術領域

本發明可以應用于跨域行人再識別領域，以pytorch作為卷積神經網絡以及圖卷積神經網絡的搭建框架，利用源域和目標域數據均可通過整合鄰居樣本信息能力來幫助分類的特點構建跨域行人再識別框架以提高跨域行人再識別性能。

背景技術

行人再識別技術可廣泛應用于視頻追蹤領域，用于解決跨攝像機和跨場景下的行人識別與檢索，因此一直以來都是計算機視覺領域的研究熱點。

行人再識別的研究領域可以分為單域行人再識別和跨域行人再識別。單域行人再識別指的是模型在一個有標簽的數據集上進行訓練以及預測；而跨域行人再識別通常指利用有標簽的源域數據和無標簽的目標域數據進行訓練，然后在目標域測試集上進行測試。

隨著深度學習的蓬勃發展，有監督的單域行人再識別精度已經達到了較高的水平，但是其不能得到廣泛推廣，原因有兩點：首先，收集標簽耗時費力，另外由于域間差異性，其不能實現一次訓練，處處部署目的。因此近年來，基于跨域行人再識別的研究更具有現實意義。

針對跨域行人再識別的研究方法主要可分為兩類：一是基于生成式對抗網絡進行源域圖片到目標域圖片的風格遷移，以減小二者的域間差異性；二是基于聚類算法為目標域數據賦偽標簽，再用帶有偽標簽的目標域數據去微調卷積神經網絡。然而第一類方法忽略了目標域數據自身的特性：相同身份的樣本自然的相似性和不同身份樣本自然的不相關性，因此實驗精度不高。第二類方法可以利用到目標域數據自身的性質，然而由于傳統聚類算法只考慮樣本自身特征，忽略了鄰居樣本信息對聚類的重要作用。

發明內容

本文基于上述第二類方法，基于聚類方法為目標域數據賦偽標簽，并采用圖卷積神經網絡整合鄰居樣本信息，考慮到源域數據和目標域數據特征都可以由各自的鄰居信息進行更新，因此利用有標簽的源域數據去監督訓練圖卷積神經網絡模塊，然后將整合鄰居信息的能力從源域遷移至目標域，達到為目標域數據聚類和賦偽標簽的作用。

本發明提供了一種基于鄰居樣本信息引導的跨域行人再識別方法，該方法的關鍵在于構建一個圖卷積神經網絡模塊，該模塊可以整合樣本鄰居信息。通過源域數據進行訓練，然后將該模塊應用于目標域數據，也即將整合鄰居信息的能力遷移至目標與域，這樣就可以為目標域選擇出正樣本對，便于之后的聚類以及賦偽標簽過程。

一種基于鄰居樣本信息引導的跨域行人再識別方法，包括如下步驟：

步驟1，首先構建一個圖卷積神經網絡模塊，該模塊整合了樣本鄰居信息，通過源域數據進行訓練，然后將該模塊應用于目標域數據，也即將整合鄰居信息的能力遷移至目標域，為目標域選擇出正樣本對，便于之后的聚類以及賦偽標簽過程；

所述圖卷積神經網絡模塊包括四個部分：親屬子圖，四個圖卷積層，一個全連接層，以及一個二分類層；

步驟2，由源域數據聯合交叉熵損失函數和三元組損失函數預訓練卷積神經網絡模塊，然后用預訓練后的卷積神經網絡模塊提取源域數據特征F_s，基于源域數據特征F_s和源域數據標簽Y_s，訓練提出的圖卷積神經網絡模塊；

步驟3，將目標域數據輸入到已初始化的卷積神經網絡模塊，得到目標域數據特征F_t，然后將特征F_t輸入到訓練好的圖卷積神經網絡模塊，得到目標域數據的正樣本對，基于正樣本對進行聚類；