[發明專利]一種基于自然語言和視覺特征的車輛檢索方法

在審

• 申請號: 202210173817.3
• 申請日: 2022-02-24
• 公開（公告）號: CN114547249A
• 公開（公告）日: 2022-05-27
• 發明（設計）人: 高文飛;王瑞雪;王磊;王輝;郭麗麗
• 申請（專利權）人: 濟南融瓴科技發展有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/783;G06F40/30;G06V20/58;G06V20/40;G06V10/74;G06V10/774;G06V10/764;G06V10/80;G06V10/82;G06K9/62;G06N3/08
• 代理公司: 寧波海曙甬睿專利代理事務所(普通合伙) 33330
• 代理人: 沈強玉

1.一種基于自然語言和視覺特征的車輛檢索方法，其特征在于，包括如下步驟：

S1、構建車輛重識別數據集，通過從不同攝像頭采集視頻，之后利用檢測模型從視頻中檢測出車輛圖片，構建數據集；

S2、使用多任務學習框架作為基礎模型，訓練車輛重識別模型，具體步驟如下：

S2-1、將車輛圖片進行一些數據預處理，包括隨機擦除、隨機剪切和標準化處理，然后構建批訓練數據，具體為從庫中不放回的抽取P各類，每個類K張圖片，使用這些圖片作為訓練的批數據；

S2-2、將批數據送入到一個殘差網絡中，通過卷積操作，得到特征圖，然后對這個特征圖進行廣義平均池化，將特征圖轉化為一位向量，并定義這個特征為F₁，之后利用此一位向量計算度量學習損失；

S2-3、將特征F₁經過一個批歸一化層，得到特征F₂，然后使用這個特征計算分類損失；

S2-4、通過反向傳播對網絡參數進行優化，通過多次迭代，此時網絡具備分辨不同車輛的能力，之后將訓練好的網絡參數保存；

S3、獲得特征提取器，去掉Re-ID模型的頭部即分類層，也就是BN后的所有部分，然后使用BN后的獲得的特征即上述的特征F₂作為車輛的特征表示，便可得到車輛的特征提取器；

S4、構建基于自然語言和視覺特征的多模態車輛軌跡檢索系統，對車輛軌跡進行檢索，具體步驟如下：

S4-1、視覺特征提取，對每段視頻進行視頻抽幀，并從每一幀中將車輛的主體部分裁剪出來，之后使用S3中的車輛特征提取器對每張幀圖片進行特征提取，并將其轉化為特征向量V，最后通過GRU模型挖掘時序信息進行融合，得到視覺特征f_v；

S4-2、自然語言特征提取，輸入N段自然語言，并對于每一段自然語言，使用在大規模語料數據上預訓練的GLove模型提取詞向量特征S，之后使用通過GRU模型對詞向量特征進行融合，得到自然語言特征f_s；

S4-3、對比學習，使用得到的視覺特征f_v和自然語言特征f_s，在高維空間上計算對比損失，計算自然語言與車輛軌跡視頻的匹配度，即余弦相似度，之后將車輛軌跡按照匹配度進行排序，將相似度最高的若干個車輛軌跡進行返回，便可現實通過自然語言對車輛軌跡進行檢索。

2.根據權利要求1所述的一種基于自然語言和視覺特征的車輛檢索方法，其特征在于，在S1中，構建數據集的具體方式為：將相同車牌號視為一類，順序給予其ID標簽，并將ID數目定義為N。

3.根據權利要求1所述的一種基于自然語言和視覺特征的車輛檢索方法，其特征在于，在S2-2中，計算度量學習損失是利用三元組損失計算，三元組損失如下：

式中：L_t代表三元組損失，f(*)代表網絡的映射函數，即將圖片轉化為一維向量的函數，x_a，x_p，x_n分表代表三元組的錨圖像、正例圖像和反例圖像，三元組是通過一種難采樣方式獲取的，具體為，針對一組批數據，會循環將每一個圖片作為錨圖像，然后找到距離最遠的同類圖片作為正例圖像以及距離最近的不同類圖片作為反例圖像，以此來構建一個三元組。

4.根據權利要求1所述的一種基于自然語言和視覺特征的車輛檢索方法，其特征在于，在S2-3中，計算分類損失，這里的分類損失標簽是之前設定的ID標簽，使用的損失函數為交叉熵損失：

式中：L_s代表分類學習損失，即交叉熵損失，y_i是一個指示變量，如果第i個類別和目標類別匹配則y_i＝1否則為0，p_i為圖片屬于第i類的預測出來的可能性。