[發明專利]一種基于深度學習的卡口圖像車輛快速檢索方法及系統

有效

• 申請號: 201710755293.8
• 申請日: 2017-08-29
• 公開（公告）號: CN107679078B
• 公開（公告）日: 2020-01-10
• 發明（設計）人: 王輝;田玉蘭;陳濤;李建元;溫曉岳
• 申請（專利權）人: 銀江股份有限公司
• 主分類號: G06F16/53
• 分類號: G06F16/53;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 33216 杭州之江專利事務所(普通合伙)
• 代理人: 張慧英

1.一種基于深度學習的卡口圖像車輛快速檢索方法，其特征在于，包括如下步驟：

(1)基于深度神經網絡模型建立圖片特征提取網絡模型，利用訓練樣本集訓練獲得訓練完成的特征提取網絡模型；其中，特征提取網絡模型的訓練過程包括：

(1.1)對卡口圖片進行人工標注目標區域坐標信息，利用深度學習訓練目標識別網絡后獲取卡口圖片中的車輛區域；

(1.2)將每張卡口圖片的車輛區域按照車牌進行分類后制作得到車輛訓練樣本集，并對車輛訓練樣本集進行優化；

(1.3)采用inception_resnet_v2作為特征提取網絡模型提取車輛訓練樣本集特征，計算三元組損失函數并利用三元組損失函數進行優化訓練特征提取網絡模型；

(2)基于參考圖片集，利用訓練完成的特征提取網絡模型提取車輛特征向量；

(3)通過K-Means聚類對提取到的車輛特征向量進行反復聚類，以聚類生成的質心建立K叉樹索引；

(4)通過訓練完成的特征提取網絡模型提取待檢測圖片的特征向量，利用K叉樹索引查詢檢索與待檢測圖片相似的圖片，并輸出相似的參考圖片集圖片。

2.根據權利要求1所述的一種基于深度學習的卡口圖像車輛快速檢索方法，其特征在于：所述的對訓練樣本集進行優化包括三種變換優化方式：噪聲變換、顏色變換和仿射變換。

3.根據權利要求1所述的一種基于深度學習的卡口圖像車輛快速檢索方法，其特征在于：所述的步驟(1.3)的步驟如下：

(1.3.1)采用inception_resnet_v2提取車輛訓練集特征；

(1.3.2)計算三元組損失函數，具體如下：

篩選三元組樣本集：每個三元組數據集包括三個樣本，分別為目標樣本anchor,正樣本pos,負樣本neg，其中，anchor和pos為同一類，anchor和neg為不同類，篩選原則為挑選與目標樣本相差大的同類樣本和與目標樣本相差小的不同類樣本的組合，學習過程為使得三元組anchor和pos的距離小于anchor和neg的距離，其中，距離均使用余弦距離，如下所示：

cosine_ap+α＜cosine_an

其中，表示目標樣本，表示正樣本，表示負樣本，目標cosine_ap表示目標樣本和正樣本之間的余弦距離，cosine_an表示目標樣本和負樣本之間的余弦距離，α為正數，保證正樣本與目標樣本之間的距離要小于負樣本與目標樣本之間的距離的一個常數；

在每批中選擇三元組樣本進行訓練，首先計算每批的網絡輸出，然后保證每批中每輛車有若干張樣本圖片，并隨機加入若干反例；生成三元組樣本時找到所有anchor-pos對，并通過計算樣本輸出編碼的歐式距離，針對每個anchor-pos對找出其對應的neg樣本，利用所得樣本對計算三元組損失；

目標函數為三元組損失函數，如下所示：

其中，分別表示樣本經過網絡的輸出編碼；(1.3.3)反復迭代循環訓練網絡直至損失值不再減小，并將訓練完成后的網絡模型保存。

4.根據權利要求1所述的一種基于深度學習的卡口圖像車輛快速檢索方法，其特征在于：所述步驟(3)具體步驟如下：

(3.1)隨機選擇K個質心點，其中K是預設的；

(3.2)采用余弦相似度計算每個特征向量到K個質心點的距離，將其指派到距離最近的質心，形成K個類別簇；其中余弦相似度計算公式如下所示：

其中，X_i代表特征X中的第i個值，Y_i代表特征Y中的第i個值；

(3.3)計算每個簇的中心點，并將其作為新的質心；

(3.4)循環執行步驟(3.2)與(3.3)，直到所有簇心的余弦相似度和小于II；其中，簇心余弦相似度計算公式如下：

(3.5)判斷每個簇最底部子簇的特征總數是否不大于N個，若否，則對特征總數大于N個的簇執行步驟(3.1)到步驟(3,4)，直到每個簇最底部子簇的的特征總數不大于N；否則結束聚類過程，以聚類生成的質心建立K叉樹索引。