[發明專利]一種基于聚類的無監督跨域行人重識別方法

在審

• 申請號: 202010744097.2
• 申請日: 2020-07-29
• 公開（公告）號: CN111860678A
• 公開（公告）日: 2020-10-30
• 發明（設計）人: 周勇;侯浩鵬;趙佳琦;夏士雄;姚睿;陳瑩;張迪;張曼
• 申請（專利權）人: 中國礦業大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/00;G06N3/04;G06N3/08
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 王美章

1.一種基于聚類的無監督跨域行人重識別方法，其特征在于：包括如下步驟：

(1)搭建用于預訓練的神經網絡；

(11)搭建特征提取模塊，引入自注意力機制；

(12)搭建全局聯合池化模塊；

(13)搭建分類器；

(2)將源域有標簽的數據輸入由步驟(1)得到的預訓練的神經網絡，做有監督的預訓練；

(21)以初始化種子1初始化預訓練神經網絡，訓練得到模型參數θ1；

(22)以初始化種子2初始化預訓練神經網絡，訓練得到模型參數θ2；

(3)搭建用于微調的雙流相互學習網絡框架；

(31)搭建神經網絡；

(32)搭建特征聚類模塊；

(33)設計損失函數；

(4)訓練雙流相互學習框架，輸出適用于目標域的行人重識別模型。

2.根據權利要求1所述的基于聚類的無監督跨域行人重識別方法，其特征在于：步驟(11)具體包括以下步驟：

(111)以殘差網絡resnet50作為特征提取模塊；

(112)在殘差網絡resnet50的第三層中間，插入非局部層作為自注意力模塊。

3.根據權利要求1所述的基于聚類的無監督跨域行人重識別方法，其特征在于：步驟(12)具體包括以下步驟：

(121)對提取到的特征圖做全局最大池化，得到特征向量X1；

(122)對提取到的特征圖做全局平均池化，得到特征向量X2；

(123)融合特征向量X1和特征向量X2，最終得到行人的特征表示F。

4.根據權利要求1所述的基于聚類的無監督跨域行人重識別方法，其特征在于：步驟(13)具體包括以下步驟：

(131)刪除殘差網絡resnet50的全連接層；

(132)計算一個mini-batch中樣本的類間加權相似度Sn和類內加權相似度Sp；

(133)對mini-batch中樣本標簽做one-hot處理，編碼為Y；

(134)計算樣本的預測類別

5.根據權利要求1所述的基于聚類的無監督跨域行人重識別方法，其特征在于：

步驟(31)具體包括以下步驟：

(311)搭建4個步驟(1)中的神經網絡，分別為Net1，Net2，MeanNet1，MeanNet2；其中Net1和MeanNet1為雙流相互學習框架一支，Net2和MeanNet2為另一支。

6.根據權利要求1所述的基于聚類的無監督跨域行人重識別方法，其特征在于：步驟(32)具體包括以下步驟：

(321)聚類模塊使用基于密度的空間聚類算法，選用杰卡德距離作為密度衡量標準。

7.根據權利要求1所述的基于聚類的無監督跨域行人重識別方法，其特征在于：步驟(33)具體包括以下步驟：

(331)使用圓損失作為分類損失，對于軟偽標簽，先對軟偽標簽做logSoftMax處理，再將其用于圓損失函數，同時使用SoftMax三元組損失函數計算損失；

(332)對軟偽標簽和硬偽標簽聯合使用分類損失和三元組損失作為訓練目標；

(333)硬偽標簽做各分支網絡的單獨學習，軟偽標簽做雙流網絡的相互學習。

8.根據權利要求1所述的基于聚類的無監督跨域行人重識別方法，其特征在于：步驟(4)具體如下：

(41)使用步驟(2)中得到的模型參數θ1初始化Net1，模型參數θ2初始化Net2；MeanNet1和MeanNet2的模型參數由Net1和Net2的模型參數通過時間平均計算得到；

(42)使用Net1和Net2同時對目標域圖像進行特征提取，得到特征向量F1和F2，然后對二者求均值，作為該圖像的特征表示F_C；

(43)通過聚類模塊對該圖像的特征表示F_C進行聚類，得到無標簽數據的硬偽標簽；

(44)通過MeanNet1和MeanNet2分別生成圖像的兩個軟偽標簽，用于相互學習；

(45)使用步驟(33)中的損失函數作為訓練目標；

(47)使用mAP評估模型性能，選取mAP更高的MeanNet模型作為輸出模型。