[發明專利]一種基于多視圖的特征融合車輛再識別方法

在審

• 申請號: 202110586256.5
• 申請日: 2021-05-27
• 公開（公告）號: CN113283507A
• 公開（公告）日: 2021-08-20
• 發明（設計）人: 付先平;姚冰;蔣廣琪;彭錦佳;王輝兵
• 申請（專利權）人: 大連海事大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04
• 代理公司: 大連至誠專利代理事務所(特殊普通合伙) 21242
• 代理人: 張海燕;謝冰

本發明公開了一種基于多視圖的特征融合車輛再識別方法，構建由三個深度網絡所構成的多視角特征信息融合網絡，分別從車輛的不同角度學習特征。第一個是ResNet網絡，可以有效地從每一張圖片中提取粗略特征。第二個是通道去除網絡，可以過濾一些隨機的特征，目的是學習魯棒性強的特征。另外，ResNet網絡和通道去除網絡輸出的特征圖都是深度特征，它們在淺層網絡中丟失一些紋理信息。因此，再通過第三個特征圖融合網絡來融合源于不同網絡層的具有代表性的特征。從而，使得最后輸出的特征圖可以觀察到車輛不同角度的特征。

技術領域

本發明涉及車輛重識別技術領域，尤其涉及一種基于多視圖的特征融合車輛再識別方法。

背景技術

在非重疊視域角度下的攝像頭網絡中，車輛重識別的目的是在大量的數據集中尋找同一輛車。這種方法對監控視頻的智能分析領域意義重大。對于不同視域角度下的車輛來說，車輛重識別的目標是在大規模的數據集中尋找同一輛車，并且在現實生活中應用十分廣泛，例如犯罪檢測、停車管理和智能運輸等。但是這種方法存在一定的局限性，由于拍攝相機的曝光度、分辨率和焦距的差異，可能導致所拍攝的車牌照照片是模糊的，無法準確識別車輛的牌照。如果車牌照被遮擋，也會增加對目標車輛的搜索難度。

隨著深度學習技術的快速發展，基于深度網絡的車輛重識別算法已經成為解決車輛重識別領域問題最重要的方法之一。許多泛化能力強的深度網絡模型被設計去解決車輛重識別任務。這些方法通過提取車輛的局部特征、關鍵的屬性及各個不同角度的特征，來提高車輛重識別的精度。然而這些方法在實際應用中仍然存在局限性，對于顏色或者車型相似度較高的車輛，車輛重識別的難度較大。此外，現有方法中大多都是側重從車輛的某一角度的學習特征進行分析，如圖2所示，不能夠從多視角去描述車輛。

現有技術中也有一些方法提出從多視角學習全局特征圖片，例如VAMI、DHMV、VAMI算法，使用跨視角生成對抗網絡將車輛特征轉換成多視角特征。DHMV是從車輛圖片中學習跨視域轉換。雖然這些方法從多視域角度提取車輛特征，但在訓練reID模型的過程中，是將多個特征圖融合成一個特征圖，這個特征圖仍不能從多視角的角度描述車輛。

發明內容

本發明提供一種基于多視圖的特征融合車輛再識別方法，以克服上述技術問題。

本發明一種基于多視圖的特征融合車輛再識別方法，包括：

構建多視角特征信息融合網絡；所述多視角特征信息融合網絡包括：ResNet網絡、通道去除網絡及特征圖融合網絡；

將展現車輛特征的第一特征圖輸入至所述ResNet網絡；

所述ResNet網絡對所述第一特征圖進行改變圖片維度、解決退化問題和保存重要特征處理，得到第二特征圖并輸出至所述通道去除網絡；

所述通道去除網絡通過去除所述第二特征圖中的部分通道特征，來提取所述第二特征圖中所涵蓋的注意力特征，得到第三特征圖并輸出至所述特征圖融合網絡；

所述特征圖融合網絡包括多個分支網絡和用于融合特征圖的連接層；多個分支網絡分別提取所述第三特征圖中的特征，再將各自提取的特征輸出至所述連接層進行特征融合，生成第四特征圖后從所述多視角特征信息融合網絡輸出。

進一步地，所述ResNet網絡，包括：ConvBlock模塊和IdentityBlock模塊；所述ConvBlock模塊用于改變圖片維度；所述IdentityBlock模塊用于解決退化問題和保存重要特征；所述ResNet網絡將神經元的數量等價于所述車輛的標號。

進一步地，所述通道去除網絡的網絡結構基于ResNet網絡，通過將隨機的Dropout層增加到全局平均池化層的上一層，來隨機去除空間域注意力集中的像素。

進一步地，所述通道去除網絡通過去除所述第二特征圖中的部分通道特征，來提取所述第二特征圖中所涵蓋的注意力特征，包括：