[發(fā)明專利]基于深度學習SSD框架的道路車輛實時檢測方法

有效

• 申請?zhí)枺?/td>: 201611183427.5
• 申請日: 2016-12-20
• 公開（公告）號: CN106611162B
• 公開（公告）日: 2019-06-18
• 發(fā)明（設計）人: 謝雪梅;陳鵬飛;石光明;廖泉;李佳楠;楊文哲;韓笑
• 申請（專利權(quán)）人: 西安電子科技大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G08G1/017
• 代理公司: 陜西電子工業(yè)專利中心 61205
• 代理人: 王品華

1.基于深度學習SSD框架的道路車輛實時檢測方法，包括如下步驟：

1)構(gòu)建訓練數(shù)據(jù)集：

1a)在交通要道拍攝行駛車輛的若干個視頻，將這些視頻每隔10幀保存為圖片，并存放到JPEGImages文件夾下作為訓練數(shù)據(jù)；

1b)對1a)的每張圖片中車窗部分進行標注，生成txt格式的標注文件并進行xml格式轉(zhuǎn)換，將轉(zhuǎn)換為xml格式的文件均分成兩部分，其中將一部分圖片的圖片名寫入到trainval.txt文件中，另一部分則將圖片名寫入到test.txt文件中，得到訓練網(wǎng)絡所需的trainval.txt文件、test.txt文件和與圖片相對應的xml文件；

1c)將1b)中的所有xml文件進行合并后存放到Annotations文件夾下，并將生成的trainval.txt文件和test.txt文件存放到ImageSet/Main文件夾下；

2)搭建SSD訓練網(wǎng)絡架構(gòu)：

2a)下載并安裝caffe-ssd平臺；

2b)在caffe-ssd平臺中下載并打開VGG-16網(wǎng)絡結(jié)構(gòu)的deploy.prototxt文件，修改其卷積層及全鏈接層的層類別，以此作為基礎網(wǎng)絡base_network；

2c)在基礎網(wǎng)絡base_network的末尾添加卷積層及池化層，作為額外的特征提取層；

2d)創(chuàng)建用于多尺度輸出的mbox_layers層，并根據(jù)基礎網(wǎng)絡base_network，設定mbox_layers層的相關(guān)參數(shù)；

3)轉(zhuǎn)換數(shù)據(jù)格式開始訓練：

3a)修改caffe_ssd平臺下的標簽字典，該標簽字典的文件名為labelmap_voc.prototxt，即將標簽字典改為“汽車”和“背景”這兩個類別；

3b)將1)中準備好的數(shù)據(jù)集存放到data文件夾下，將xml格式的標注文件轉(zhuǎn)換成網(wǎng)絡固定輸入格式的lmdb格式文件；

3c)將3a)中修改過的標簽字典文件和3b)生成的lmdb文件輸入到搭建好的SSD訓練網(wǎng)絡進行訓練，得到最終的訓練模型；

4)利用訓練模型進行視頻車輛檢測：

4a)將任意待測行駛車輛視頻按幀輸入到訓練好的模型中；

4b)對于輸入的每一幀圖像，該模型將隨機地選取整幅圖像的多個區(qū)域，并采用卷積算法對每個區(qū)域進行打分；

4c)設定一個閾值δ＝0.3，將每一個區(qū)域的得分分別與δ比較，將得分高于δ的區(qū)域，判斷為包含汽車車窗，并調(diào)用繪圖命令對這個區(qū)域進行標注；將得分值低于δ的區(qū)域，判斷為不包含車窗或包含不完全車窗，直到圖像上所有被判斷為包含汽車車窗的區(qū)域均標注完成；

4d)重復4b)-4c)，將4a)中待測視頻的所有幀圖像處理后，得到相應的輸出視頻，此輸出視頻將會標注出每一個包含汽車車窗的區(qū)域，從而完成對一段視頻中每一輛汽車的檢測。

2.根據(jù)權(quán)利要求1所述的方法，其中步驟3c)中訓練SSD網(wǎng)絡，按如下步驟進行：

3c1)用K個隨機取值的卷積核對圖像進行卷積得到K個特征圖；

3c2)從K個特征圖中選取幾個特征圖，按不同的權(quán)重輸入到損失函數(shù)中計算損失值，并采用梯度下降法更新卷積核的大小和權(quán)重的大小；

3c3)重復3c1)-3c2)，直到損失函數(shù)達到最小，記錄卷積核和權(quán)重的值。

3.根據(jù)權(quán)利要求1所述的方法，其中步驟4b)中采用卷積算法對每個區(qū)域進行打分，按如下步驟進行：

4b1)用K個訓練好的卷積核與一個區(qū)域進行二維卷積，得到K個卷積值；

4b2)將K個卷積值求加權(quán)平均，即得到該區(qū)域的打分。