[發明專利]一種基于自然語言和視覺特征的車輛檢索方法

在審

• 申請號: 202210173817.3
• 申請日: 2022-02-24
• 公開（公告）號: CN114547249A
• 公開（公告）日: 2022-05-27
• 發明（設計）人: 高文飛;王瑞雪;王磊;王輝;郭麗麗
• 申請（專利權）人: 濟南融瓴科技發展有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/783;G06F40/30;G06V20/58;G06V20/40;G06V10/74;G06V10/774;G06V10/764;G06V10/80;G06V10/82;G06K9/62;G06N3/08
• 代理公司: 寧波海曙甬睿專利代理事務所(普通合伙) 33330
• 代理人: 沈強玉

本發明公開了一種基于自然語言和視覺特征的車輛檢索方法，包括如下步驟：S1、構建車輛重識別數據集，通過從不同攝像頭采集視頻，之后利用檢測模型從視頻中檢測出車輛圖片，構建數據集；S2、使用多任務學習框架作為基礎模型，訓練車輛重識別模型；S3、獲得特征提取器；S4、構建基于自然語言和視覺特征的多模態車輛軌跡檢索系統，對車輛軌跡進行檢索。該種基于自然語言和視覺特征的車輛檢索方法，可以通過自然語言方便的找到和語義匹配的車輛，相比之前僅僅基于視覺的車輛檢索系統更具靈活性，降低了檢索的門檻，同時利用車輛重識別模型提取出辨別能力強的車輛的視覺特征，豐富了特征的細粒度信息。

技術領域

本發明涉及智慧交通技術領域，具體為一種基于自然語言和視覺特征的車輛檢索方法。

背景技術

目標追蹤是計算機視覺研究的熱門領域之一，是指在一段連續的視頻幀中，利用人工智能技術，自動追蹤視頻連續幀中出現的某個固定目標。目標追蹤作為一項基礎技術廣泛應用于各種領域，例如：自動駕駛、智慧城市以及智能監控等多個場景。

基于自然語言和視覺特征的車輛檢索方法在智慧城市交通的目標追蹤中發揮著重要作用。基于自然語言和視覺特征的車輛檢索任務是指，給定自然語言需要從視頻片段庫中將對應的車輛軌跡片段檢索出來，比如“一輛紅色的SUV在路口右轉”，需要將對應的車輛軌跡片段檢索召回，然而在現有技術中，基于自然語言和視覺特征的跨模態車輛檢索，使用的視覺特征比較簡單，比如基于ImageNet預訓練，與車輛在域上的差異比較大，無法提取高效辨別能力強的特征，或者僅僅基于視覺模態檢索，缺少靈活性，同時檢索的門檻也較高，跨模態車輛檢索使用的特征較為簡單，無法對車輛進行細粒度級別的描述。因此我們對此做出改進，提出一種基于自然語言和視覺特征的車輛檢索方法。

發明內容

為了解決上述技術問題，本發明提供了如下的技術方案：

本發明一種基于自然語言和視覺特征的車輛檢索方法，包括如下步驟：

S1、構建車輛重識別數據集，通過從不同攝像頭采集視頻，之后利用檢測模型從視頻中檢測出車輛圖片，構建數據集；

S2、使用多任務學習框架作為基礎模型，訓練車輛重識別模型，具體步驟如下：

S2-1、將車輛圖片進行一些數據預處理，包括隨機擦除、隨機剪切和標準化處理，然后構建批訓練數據，具體為從庫中不放回的抽取P各類，每個類K張圖片，使用這些圖片作為訓練的批數據；

S2-2、將批數據送入到一個殘差網絡中，通過卷積操作，得到特征圖，然后對這個特征圖進行廣義平均池化，將特征圖轉化為一位向量，并定義這個特征為F₁，之后利用此一位向量計算度量學習損失；

S2-3、將特征F₁經過一個批歸一化層，得到特征F₂，然后使用這個特征計算分類損失；

S2-4、通過反向傳播對網絡參數進行優化，通過多次迭代，此時網絡具備分辨不同車輛的能力，之后將訓練好的網絡參數保存；

S3、獲得特征提取器，去掉Re-ID模型的頭部即分類層，也就是BN后的所有部分，然后使用BN后的獲得的特征即上述的特征F₂作為車輛的特征表示，便可得到車輛的特征提取器；

S4、構建基于自然語言和視覺特征的多模態車輛軌跡檢索系統，對車輛軌跡進行檢索，具體步驟如下：

S4-1、視覺特征提取，對每段視頻進行視頻抽幀，并從每一幀中將車輛的主體部分裁剪出來，之后使用S3中的車輛特征提取器對每張幀圖片進行特征提取，并將其轉化為特征向量V，最后通過GRU模型挖掘時序信息進行融合，得到視覺特征f_v；