[發(fā)明專利]嵌入式設(shè)備中基于深度學習的交通標志檢測方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202010634897.9
• 申請日: 2020-07-03
• 公開（公告）號: CN111767878B
• 公開（公告）日: 2022-11-08
• 發(fā)明（設(shè)計）人: 湯淑明;閆志峰;朱海兵;頓海洋
• 申請（專利權(quán)）人: 中國科學院自動化研究所
• 主分類號: G06V20/58
• 分類號: G06V20/58;G06V10/80;G06V10/82;G06N3/04
• 代理公司: 北京市恒有知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11576
• 代理人: 郭文浩;尹文會

本發(fā)明屬于人工智能計算機視覺領(lǐng)域，具體涉及一種嵌入式設(shè)備中基于深度學習的交通標志檢測方法及系統(tǒng)、裝置，旨在解決現(xiàn)有檢測方法在嵌入式設(shè)備中運行時無法兼顧檢測精度與效率的問題。本發(fā)明包括：通過改進的特征提取網(wǎng)絡(luò)提取輸入圖像的淺層特征圖；通過輔助卷積網(wǎng)絡(luò)將淺層特征圖生成不同尺度的深層特征圖；通過特征融合網(wǎng)絡(luò)融合淺層特征與深層特征；通過改進的分類檢測器結(jié)合非極大值抑制，獲取在原輸入圖像上顯示的交通標示的類別和檢測框。本發(fā)明通過輕量級的MobileNet提取淺層特征，通過輔助網(wǎng)絡(luò)提取深層特征，融合淺層特征與深層特征進行分類檢測，在保證檢測精度的基礎(chǔ)上大大提升了檢測效率，在運算能力有限的嵌入式設(shè)備中也能取得很好的效果。

技術(shù)領(lǐng)域

本發(fā)明屬于人工智能計算機視覺領(lǐng)域，具體涉及一種嵌入式設(shè)備中基于深度學習的交通標志檢測方法及系統(tǒng)、裝置。

背景技術(shù)

隨著我國居民生活水平的日益提高，我國的汽車保有量也與日俱增，隨之也引發(fā)生了一系列的交通問題，比如：道路擁擠、交通事故頻發(fā)等，在給駕駛員帶來極差的駕駛體驗的同時，也極大地影響著駕駛員的安全。交通標志檢測系統(tǒng)可以輔助駕駛員駕駛，并能在駕駛過程中對駕駛員進行預(yù)警，進而提高駕駛員的駕駛體驗，減少交通事故的發(fā)在生。

嵌入式設(shè)備由于成本低、體積小等優(yōu)勢，被應(yīng)用在了生活的多個方面，如果能將交通標志檢測應(yīng)用于嵌入式設(shè)備中，能夠極大的降低交通標志檢測系統(tǒng)的成本，有助于交通標志檢測系統(tǒng)在家用轎車等領(lǐng)域的普及。

傳統(tǒng)的交通標志的檢測方法主要是分為兩個過程：圖像候選區(qū)域的提取和二分類。候選區(qū)域的提取主要是根據(jù)交通標志的顏色、圖像等相關(guān)特征從原始圖像中定位出包含有目標交通標志的區(qū)域。二分類主要是對定位的候選區(qū)域進行判斷，判斷出該區(qū)域是屬于圖像的前景區(qū)域還是背景區(qū)域，但是傳統(tǒng)的基于顏色和形狀的交通標志檢測方法受環(huán)境的影像較大，魯棒性差，而且識別的交通標志種類較少，不適合在復(fù)雜場景中應(yīng)用，基于深度學習的交通標志檢測方法將檢測和識別過程作為統(tǒng)一的分類或回歸問題來處理，采用端到端的方式進行訓(xùn)練，極大地降低了提取圖像特征的難度，并且識別的種類較多，適合在復(fù)雜場景中的應(yīng)用。

深度學習檢測算法主要分為兩大類：一類是以Faster-RCNN為代表的兩階段目標檢測算法，算法采用了基于候選區(qū)域提取的方法，用區(qū)域提取算法RPN來對前景和背景進行區(qū)分并生成候選區(qū)域，送入到后續(xù)網(wǎng)絡(luò)進行位置預(yù)測和分類，所以算法的檢測精度較高，但是實時性較低；另一類是以SSD和YOLO為代表的一階段目標檢測算法，算法采用直接回歸的方式進行位置預(yù)測和分類，所以算法的檢測精度較兩階段網(wǎng)絡(luò)略低，但是實時性較好。

然而，嵌入式設(shè)備的運算能力有限，即使是實時性較好的一階段網(wǎng)絡(luò)，由于其網(wǎng)絡(luò)參數(shù)量還是較多、網(wǎng)絡(luò)結(jié)構(gòu)也比較復(fù)雜，因此，一階段網(wǎng)絡(luò)在嵌入式設(shè)備中運行的實時性還遠遠達不到要求。若進一步降低網(wǎng)絡(luò)復(fù)雜度，則檢測的精度也會出現(xiàn)急劇下降。

發(fā)明內(nèi)容

為了解決現(xiàn)有技術(shù)中的上述問題，即現(xiàn)有交通標志檢測方法在嵌入式設(shè)備中運行時無法兼顧檢測精度與效率的問題，本發(fā)明提出了一種嵌入式設(shè)備中基于深度學習的交通標志檢測方法，該檢測方法包括：

步驟A10，獲取包含交通標志的圖像作為輸入圖像；

步驟A20，基于所述輸入圖像，通過改進的特征提取網(wǎng)絡(luò)進行淺層特征提取，獲得輸入圖像的淺層特征圖；

步驟A30，基于設(shè)定的卷積層構(gòu)建輔助卷積網(wǎng)絡(luò)，并通過所述輔助卷積網(wǎng)絡(luò)將所述淺層特征圖生成不同尺度的深層特征圖；

步驟A40，通過特征融合網(wǎng)絡(luò)分別進行不同尺度的深層特征圖中每一個深層特征圖與所述淺層特征圖的特征融合，獲得不同尺度的融合特征圖；

步驟A50，基于所述不同尺度的融合特征圖，通過改進的檢測分類器獲取交通標志的預(yù)測候選框以及各候選框?qū)?yīng)的類別分數(shù)、框偏移量；