[發(fā)明專利]一種多任務(wù)聯(lián)合判別學(xué)習(xí)的車輛重識別方法

有效

• 申請?zhí)枺?/td>: 202010432575.6
• 申請日: 2020-05-20
• 公開（公告）號: CN111652293B
• 公開（公告）日: 2022-04-26
• 發(fā)明（設(shè)計）人: 李垚辰;吳瀟;宋晨明;劉躍虎
• 申請（專利權(quán)）人: 西安交通大學(xué)蘇州研究院
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V10/80;G06V10/764;G06K9/62;G06N3/04
• 代理公司: 西安通大專利代理有限責(zé)任公司 61200
• 代理人: 姚詠華

1.一種多任務(wù)聯(lián)合判別學(xué)習(xí)的車輛重識別方法，其特征在于，包括如下步驟：

步驟1：獲取待檢索的車輛圖片以及車輛圖像數(shù)據(jù)集，將車輛圖像數(shù)據(jù)集劃分為訓(xùn)練集和測試集；

步驟2：首先共享卷積神經(jīng)網(wǎng)絡(luò)的卷積層，然后將全連接層分為兩個分支，一個分支采用交叉熵?fù)p失函數(shù)進(jìn)行基礎(chǔ)屬性的分類學(xué)習(xí)，獲得特征向量及屬性分類任務(wù)損失；另一個分支采用ArcFL損失函數(shù)進(jìn)行ID分類學(xué)習(xí)，獲得特征向量及ID分類損失；

步驟3：將兩個分支的特征向量融合，得到網(wǎng)絡(luò)的輸出特征向量，在網(wǎng)絡(luò)的輸出特征向量上，添加度量學(xué)習(xí)約束，采用困難樣本采樣三元組損失Trihard損失函數(shù)，完成度量學(xué)習(xí)任務(wù)；

步驟4：在兩個分支的融合特征向量上，添加ID學(xué)習(xí)約束，采用ArcFL損失函數(shù)完成ID學(xué)習(xí)任務(wù)；

步驟5：將步驟2產(chǎn)生的屬性分類任務(wù)損失與ID分類損失和步驟3中度量學(xué)習(xí)任務(wù)與步驟4中ID學(xué)習(xí)任務(wù)產(chǎn)生的損失相加，得到多任務(wù)的損失函數(shù)；通過多任務(wù)損失函數(shù)在訓(xùn)練集上訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)，同時優(yōu)化基礎(chǔ)屬性的分類學(xué)習(xí)、度量學(xué)習(xí)與ID分類學(xué)習(xí)，直到前向傳播的損失函數(shù)值趨于收斂時，停止訓(xùn)練，得到深度學(xué)習(xí)模型；

步驟6：采用深度學(xué)習(xí)模型提取待檢索的車輛圖片以及測試集的圖片特征，然后通過待檢索的車輛圖片以及測試集的圖片特征之間的余弦距離判斷圖片的相似性，最后按照相似性排名輸出車輛重識別結(jié)果；

步驟2中與步驟4中的ArcFL損失函數(shù)公式如下：

其中表示通過增加了角度裕度后的概率向量，s表示固定歸一化后的特征||x_i||，θ_yi表示權(quán)重向量第yi列與特征向量x_i之間的角度，yi表示第i個樣本所對應(yīng)的類別，j表示權(quán)重向量對應(yīng)的列標(biāo)，θ_j表示權(quán)重向量W_j和特征向量x_i之間的角度，m表示附加的角度裕度，為權(quán)重參數(shù)，γ為調(diào)制系數(shù)。

2.根據(jù)權(quán)利要求1所述的一種多任務(wù)聯(lián)合判別學(xué)習(xí)的車輛重識別方法，其特征在于，基礎(chǔ)屬性的分類學(xué)習(xí)包括車型和顏色屬性的學(xué)習(xí)。

3.根據(jù)權(quán)利要求1所述的一種多任務(wù)聯(lián)合判別學(xué)習(xí)的車輛重識別方法，其特征在于，m＝0.5，參數(shù)γ＝2。

4.根據(jù)權(quán)利要求1所述的一種多任務(wù)聯(lián)合判別學(xué)習(xí)的車輛重識別方法，其特征在于，步驟3中，困難樣本采樣三元組損失Trihard損失函數(shù)中三元組通過以下過程確定：從每一個batch中隨機(jī)挑選P個ID的車輛，每個ID隨機(jī)挑選K張圖片，即一個batch含有P×K張圖片；對于batch中的每一張圖片a，根據(jù)特征映射的距離挑選一個和a距離最遠(yuǎn)的正樣本，以及一個和a距離最近的負(fù)樣本一起組成一個三元組；

困難樣本采樣三元組損失Trihard損失函數(shù)定義如下：

其中，a表示batch中的每一張錨定圖片，p表示正樣本，n表示負(fù)樣本，A表示這個batch中a的正樣本集，B表示batch中a的負(fù)樣本集，α為最遠(yuǎn)的正樣本對的距離和最近的負(fù)樣本對的距離之間的距離閾值，P表示車輛ID的數(shù)量，K表示每個ID對應(yīng)的不同圖片的數(shù)量，d_a,p表示圖片a與三元組中正樣本的距離，d_a,n表示圖片a與三元組中負(fù)樣本的距離，(z)₊表示max(z,0)。

5.根據(jù)權(quán)利要求1所述的一種多任務(wù)聯(lián)合判別學(xué)習(xí)的車輛重識別方法，其特征在于，步驟5中，訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)時采用反向傳播算法和隨機(jī)梯度下降方法，不斷更新迭代。

6.根據(jù)權(quán)利要求1所述的一種多任務(wù)聯(lián)合判別學(xué)習(xí)的車輛重識別方法，其特征在于，步驟5中，訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)時，參數(shù)設(shè)置如下：基礎(chǔ)學(xué)習(xí)率為0.01，動量為0.9，權(quán)重衰減為1×10^-8，batch大小設(shè)為32。