[發明專利]一種基于多尺度特征融合與DCNN的實時車標檢測方法

有效

• 申請號: 201910086546.6
• 申請日: 2019-01-29
• 公開（公告）號: CN109816024B
• 公開（公告）日: 2021-08-31
• 發明（設計）人: 李耶;殷光強;候少麒;石方炎;李馨宇
• 申請（專利權）人: 電子科技大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04
• 代理公司: 成都其高專利代理事務所(特殊普通合伙) 51244
• 代理人: 廖曾;賀立中

1.一種基于多尺度特征融合與DCNN的實時車標檢測方法，其特征在于：該方法包括：

步驟一：圖片收集與篩選；

步驟二：數據集制作，根據深度學習標準VOC數據集格式制作車標數據集；

所述車標數據集的具體制作方法如下：

新建Annotation、ImageSets以及JPEGImages三個文件夾，ImageSets文件夾中包括Main文件夾，設定車標圖片目錄與.xml標簽文件目錄，設定車標標簽名，將步驟一收集并篩選后的車輛照片均存入JPEGImages文件夾中，打開LabelImg工具作出標簽圖片樣例，并將生成的.xml文件中的樣本圖片名稱按5:1的比例分別存入trainval.txt與test.txt文件中，然后將trainval.txt與test.txt文件存入Main文件夾，.xml文件存入Annotation文件夾中；

步驟三：網絡設計，以YOLO框架為基礎，采用端到端的設計思想，以改進的Darknet-20網絡作為基礎網絡設計主干網絡，主干網絡包括20個卷積層和5個最大值池化層，其中，卷積層中conv0、conv2、conv4、conv6、conv8、conv10、conv12、conv14、conv16、conv18、conv20、conv22、conv23、conv24的卷積核都采用3*3的尺寸，conv5、conv9、conv13、conv15、conv19、conv21的卷積核都采用1*1尺寸，并在主干網絡中除最后一個卷積層外的其他所有卷積層后添加BatchNormalization層和leaky激活層，在主干網絡最后一個卷積層后添加linear激活層，初始圖片輸入尺寸固定為416*416*3，經前面的卷積層和最大值池化層處理后，在右支路上，conv10卷積層輸出的尺寸為52*52*256的特征圖經過卷積層處理，得到52*52*16的特征圖，然后再經過reorg操作，將52*52*16的特征圖調整成13*13*256特征圖；在左支路上，conv16卷積層輸出的尺寸為26*26*512的特征圖經過卷積層處理，得到26*26*64的特征圖，然后再經過reorg操作，將26*26*64的特征圖調整成13*13*256特征圖，在主干網絡上，conv24卷積層輸出的尺寸為13*13*1024的特征圖；主干網絡13*13*1024的特征圖、左支路13*13*256的特征圖和右支路13*13*256的特征圖，先進行route操作，得到13*13*1536的特征圖，其次經過卷積層處理，得到最終特征圖維度是13*13*1024，特征層13*13*1024經過最后一次的卷積層變換輸出相應的檢測維度13*13*N，采用多尺度特征融合的方法，將不同深度的三個支路特征圖進行通道融合；同時采用一階段非級聯結構設計模式，即利用anchor box同時預測類別和坐標，搭建出最終的網絡模型，其中anchor box表示預測框；

步驟四：模型訓練，利用網絡模型訓練車標數據集，并在模型訓練時，進行參數設置、數據增強以及多尺度訓練，具體實現過程如下：

(1)參數設置：

分別設定batch、subdivisions、momentum、decay以及初始學習率的值，batch表示批次，subdivisions表示子批次，momentum表示權重更新系數，decay表示權重衰減參數，實際訓練中每次送入的樣本數量為batch/subdivisions；

(2)設定參數后，對模型進行數據增強：

(a)顏色與光照，模型進行迭代訓練時，調整樣本圖片的飽和度、曝光度和色調，并根據設定值產生新的訓練樣本；

(b)角度旋轉，模型進行迭代訓練時，設定樣本圖片的水平或垂直方向的旋轉角度，并根據設定值產生新的訓練樣本；

(c)噪聲干擾，模型進行迭代訓練時，給樣本圖片加入隨機抖動噪聲，并根據設定值產生新的訓練樣本；

(3)對模型進行多尺度訓練：

設定每經過n批訓練即n*batches，就隨機選擇新的圖片尺寸，調整網絡至相應維度后繼續進行訓練；

(4)利用損失函數判斷模型訓練情況，損失函數包括分類誤差和定位誤差兩大模塊，損失函數采用：

其中W，H分別代表特征圖的寬與高，A代表先驗框數目，λ代表權重系數；

(5)訓練結果：模型在服務器上通過反向傳播降低loss值的原理進行訓練，訓練策略為SGD，當損失函數中loss值下降到小數點后百分位，且基本不再變化時，停止訓練；

步驟五：模型測試與評估，利用訓練好的網絡模型進行車標檢測測試及模型評估。