[發明專利]一種基于多尺度約束的細粒度車輛圖像檢索的方法及裝置

在審

• 申請號: 201911245009.8
• 申請日: 2019-12-06
• 公開（公告）號: CN111104538A
• 公開（公告）日: 2020-05-05
• 發明（設計）人: 張斯堯;羅茜;王思遠;蔣杰;張誠;李乾;謝喜林;黃晉
• 申請（專利權）人: 深圳久凌軟件技術有限公司
• 主分類號: G06F16/583
• 分類號: G06F16/583;G06K9/62
• 代理公司: 長沙德恒三權知識產權代理事務所(普通合伙) 43229
• 代理人: 徐仰貴

1.一種基于多尺度約束的細粒度車輛圖像檢索方法，其特征在于，包括：

對第一訓練數據集進行多尺度區域信息標注，得到第二訓練數據集；

基于改進的包圍盒約束算法和海倫約束算法對所述第二訓練數據集進行處理，得到第三訓練數據集；

采用所述第三訓練數據集訓練細粒度神經網絡模型的目標參數的參數值，得到訓練之后的細粒度神經網絡模型；

將待識別車輛圖像輸入訓練好的細粒度神經網絡模型進行識別，獲得與所述待識別車輛圖像同類型的目標車輛圖像。

2.根據權利要求1所述的基于多尺度約束的細粒度車輛圖像檢索的方法，其特征在于，在所述對第一訓練數據集進行多尺度區域信息標注，得到第二訓練數據集步驟之前，所述方法還包括：

構建基于VGG-m或Alex-Net的細粒度神經網絡模型，并采用全局平均池化層代替全連接層；

采用ImageNet數據集對所述細粒度神經網絡模型進行預訓練。

3.根據權利要求2所述的基于多尺度約束的細粒度車輛圖像檢索的方法，其特征在于，所述基于改進的包圍盒約束算法和海倫約束算法對所述第二訓練數據集進行處理的步驟，包括：

根據所述第二訓練數據集圖片中多尺度區域互相包含的關系對檢測的結果進行包圍盒約束算法優化,篩選出圖片中包含目標物體和多尺度目標中心的檢測框；

采用FASTER-RCNN提取包含物體得分概率分數排序靠前且滿足海倫檢測約束條件的目標物體和各尺度中心部分檢測框。

4.根據權利要求1所述的基于多尺度約束的細粒度車輛圖像檢索的方法，其特征在于，所述采用所述第三訓練數據集訓練細粒度神經網絡模型的目標參數的參數值的步驟，包括：

所述第三訓練數據集中的圖像輸入細粒度神經網絡模型，通過所述細粒度神經網絡模型模型最后一層激活卷積層提取圖像特征后，輸出n個二維特征映射，每個特征映射分布式表示有多個激活響應的特征顯著性區域；

將所述n個二維特征映射疊加，并設定一個閾值，選取疊加后激活響應高于閾值的區域，得到一個掩映圖；

采用雙三次插值的方法調整所述掩映圖的大小，使其與輸入圖像同樣大小，并將掩映圖覆蓋到輸入圖像上；

選取所述掩映圖中所占面積最大的激活響應高于閾值的區域，該區域在輸入圖像中所對應的區域即為圖像主要目標對象位置，激活響應特征即為目標對象的特征。

5.一種基于多尺度約束的細粒度車輛圖像檢索的裝置，其特征在于，包括：

第一獲取模塊，用于對第一訓練數據集進行多尺度區域信息標注，得到第二訓練數據集；

處理模塊，用于基于改進的包圍盒約束算法和海倫約束算法對所述第二訓練數據集進行處理，得到第三訓練數據集；

訓練模塊，用于采用所述第三訓練數據集訓練細粒度神經網絡模型的目標參數的參數值，得到訓練之后的細粒度神經網絡模型；

識別模塊，用于將待識別車輛圖像輸入訓練好的細粒度神經網絡模型進行識別，獲得與所述待識別車輛圖像同類型的目標車輛圖像。

6.根據權利要求5所述的基于多尺度約束的細粒度車輛圖像檢索的裝置，其特征在于，所述裝置還包括：

模型構建模塊，用于構建基于VGG-m或Alex-Net的細粒度神經網絡模型，并采用全局平均池化層代替全連接層；

預訓練模塊，用于采用ImageNet數據集對所述細粒度神經網絡模型進行預訓練。

7.根據權利要求5所述的基于多尺度約束的細粒度車輛圖像檢索的裝置，其特征在于，所述處理模塊包括：

包圍盒約束模塊，用于根據所述第二訓練數據集圖片中多尺度區域互相包含的關系對檢測的結果進行包圍盒約束算法優化,篩選出圖片中包含目標物體和多尺度目標中心的檢測框；

海倫約束模塊，用于采用FASTER-RCNN提取包含物體得分概率分數排序靠前且滿足海倫檢測約束條件的目標物體和各尺度中心部分檢測框。