[發明專利]基于鄰居樣本信息引導的跨域行人再識別方法

在審

• 申請號: 202010715219.5
• 申請日: 2020-07-23
• 公開（公告）號: CN111898665A
• 公開（公告）日: 2020-11-06
• 發明（設計）人: 種衍文;王玉杰;潘少明
• 申請（專利權）人: 武漢大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06F17/11
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 王琪

1.基于鄰居樣本信息引導的跨域行人再識別方法，其特征在于，包括如下步驟：

步驟1，首先構建一個圖卷積神經網絡模塊，該模塊整合了樣本鄰居信息，通過源域數據進行訓練，然后將該模塊應用于目標域數據，也即將整合鄰居信息的能力遷移至目標域，為目標域選擇出正樣本對，便于之后的聚類以及賦偽標簽過程；

所述圖卷積神經網絡模塊包括四個部分：親屬子圖，四個圖卷積層，一個全連接層，以及一個二分類層；

步驟2，由源域數據聯合交叉熵損失函數和三元組損失函數預訓練卷積神經網絡模塊，然后用預訓練后的卷積神經網絡模塊提取源域數據特征F_s，基于源域數據特征F_s和源域數據標簽Y_s，訓練提出的圖卷積神經網絡模塊；

步驟3，將目標域數據輸入到已初始化的卷積神經網絡模塊，得到目標域數據特征F_t，然后將特征F_t輸入到訓練好的圖卷積神經網絡模塊，得到目標域數據的正樣本對，基于正樣本對進行聚類；

步驟4，為步驟3中聚類得到的每個類別賦偽標簽，基于帶有偽標簽的目標域數據聯合交叉熵損失函數和三元組損失函數微調卷積神經網絡模塊；

步驟5，迭代步驟3和步驟4，直到卷積神經網絡模塊穩定，然后利用穩定后的卷積神經網絡模塊對目標域數據進行行人的再識別。

2.如權利要求1所述的基于鄰居樣本信息引導的跨域行人再識別方法，其特征在于：所述卷積神經網絡為ResNet50。

3.如權利要求1所述的基于鄰居樣本信息引導的跨域行人再識別方法，其特征在于：步驟1中所述圖卷積神經網絡模塊中親屬子圖的構建方式如下，

將源域數據集或目標域數據集中的每一個樣本作為中心點c，利用樣本通過卷積神經網絡提取過的特征，求每一個樣本和源域數據集或目標域數據集中其他樣本的余弦相似度并排序得到其前k₁個鄰居N(c,k₁)，為每一個樣本構建一個親屬子圖。

4.如權利要求1所述的基于鄰居樣本信息引導的跨域行人再識別方法，其特征在于：步驟1中所述圖卷積神經網絡模塊中四個圖卷積層的構建方式如下，

每一個圖卷積層由公式(1)表示：

X^L＝ReLU((D^-1AX^L-1||X^L-1)W^L) (1)

其中，和分別代表第L層和L-1層的輸出特征，n代表節點個數，而和則分別代表第L層和L-1層節點的特征維度；為鄰接矩陣，用于表示樣本點之間的關系信息，為對角線矩陣，其對角線上的元素可表示為d_i＝∑_jA_ij，||代表由鄰居信息更新后的特征和原始特征在特征維度上進行串聯，從而引入節點原始特征；為第L層的訓練參數，ReLU代表激活函數；

第一個圖卷積層的輸入為

X⁰＝X＝[F₁-F_c,F₂-F_c,...,F_i-F_c],i∈N(c,k₁) (2)

其中F_c表示中心節點的特征，F_i表示以此中心節點構造的親屬子圖中其每個鄰居節點的特征；

對于鄰接矩陣A的構建，對于節點i,j∈N(c,k₁)，如果節點i是節點j的k₂近鄰或者節點j是節點i的k₂近鄰，則A_i,j＝A_j,i＝1，否則A_i,j＝A_j,i＝0。