[發(fā)明專利]一種基于行車視頻的交通標(biāo)志檢測識別方法

在審

• 申請?zhí)枺?/td>: 202110043062.0
• 申請日: 2021-01-13
• 公開（公告）號: CN112699841A
• 公開（公告）日: 2021-04-23
• 發(fā)明（設(shè)計）人: 陳東;張博;黃智鵬
• 申請（專利權(quán)）人: 華南理工大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廣州市華學(xué)知識產(chǎn)權(quán)代理有限公司 44245
• 代理人: 馮炳輝

本發(fā)明公開了一種基于行車視頻的交通標(biāo)志檢測識別方法，包括：準(zhǔn)備交通標(biāo)志檢測數(shù)據(jù)集，并完成交通標(biāo)志圖像標(biāo)注工作；對交通標(biāo)志檢測網(wǎng)絡(luò)yolov3?tiny進(jìn)行損失函數(shù)改進(jìn)，并在交通標(biāo)志檢測數(shù)據(jù)集上進(jìn)行訓(xùn)練；將視頻圖像中檢測到的交通標(biāo)志進(jìn)行剪裁并統(tǒng)一尺寸得到待識別圖像，并將待識別圖像通過圖像掩膜去除背景從而獲取感興趣區(qū)域ROI；在交通標(biāo)志檢測數(shù)據(jù)集的基礎(chǔ)上制作識別數(shù)據(jù)集，對分類識別網(wǎng)絡(luò)AlexNet進(jìn)行改進(jìn)與訓(xùn)練從而完成交通標(biāo)志最后的分類工作。本發(fā)明將交通標(biāo)志的檢測識別分成兩個過程，并利用檢測結(jié)果與識別結(jié)果之間的關(guān)聯(lián)對整體模型進(jìn)行驗證，解決了復(fù)雜環(huán)境下交通標(biāo)志檢測識別率不高的問題。

技術(shù)領(lǐng)域

本發(fā)明涉及計算機圖像處理以及深度學(xué)習(xí)與計算機視覺的技術(shù)領(lǐng)域，尤其是指一種基于行車視頻的交通標(biāo)志檢測識別方法。

背景技術(shù)

隨著智能交通的發(fā)展，交通標(biāo)志識別也因此受到了重視。交通標(biāo)志識別由檢測和識別兩個部分組成，檢測的作用是對交通標(biāo)志進(jìn)行定位并初步判斷其主要類別，而識別的作用是對其進(jìn)行進(jìn)一步細(xì)分類，這兩個過程對數(shù)據(jù)集的要求是不同的，因此交通標(biāo)志檢測與識別通常作為兩個過程對不同網(wǎng)絡(luò)進(jìn)行訓(xùn)練。由于車載條件下車輛具有一定的速度，為保證乘客的交通安全，交通標(biāo)志目標(biāo)檢測與分類識別的網(wǎng)絡(luò)結(jié)構(gòu)的時效性是非常重要的。

對于目標(biāo)檢測階段，用的比較多的是YOLO與SSD這類的one-stage的算法，前者相對后者實時性與準(zhǔn)確性方面更好，因此在行人檢測、車輛檢測等領(lǐng)域有較為廣泛的應(yīng)用。對于交通標(biāo)志這類小目標(biāo)而言，YOLOv3雖然具有良好的預(yù)測精度，由于其網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜其實時性仍存在一定的限制。

而對于分類識別階段，基于傳統(tǒng)LBP、HOG等進(jìn)行特征提取并基于模板匹配、SVM等進(jìn)行分類的速度緩慢，這些特征提取與分類的方法難以適應(yīng)高速的應(yīng)用場合，而基于卷積神經(jīng)網(wǎng)絡(luò)的特征提取與分類優(yōu)勢較大，能夠在較短時間內(nèi)完成交通標(biāo)志識別任務(wù)。基于卷積神經(jīng)網(wǎng)絡(luò)方法不足的是對數(shù)據(jù)集依賴較大，除了光照、霧氣的影響，復(fù)雜的背景也對其識別率產(chǎn)生了較大的影響，因此該方法對于一些特定場合仍存在不足。

發(fā)明內(nèi)容

本發(fā)明的目的在于克服現(xiàn)有技術(shù)的缺點與不足，提出了一種基于行車視頻的交通標(biāo)志檢測識別方法，通過對更加輕量級的框架yolov3-tiny進(jìn)行目標(biāo)檢測，然后對其目標(biāo)定位損失函數(shù)進(jìn)行相關(guān)改進(jìn)，從而提升交通標(biāo)志的檢測精度并減少交通標(biāo)志的檢測時間；利用圖像的邊緣去除非交通標(biāo)志區(qū)域，直接將交通標(biāo)志的感興趣區(qū)域ROI圖像通過改進(jìn)的Alexnet進(jìn)行識別。該方法解決了車輛快速行駛過程中復(fù)雜自然場景對交通標(biāo)志檢測與識別過程中存在的干擾，從而在保證較高識別率與較短識別時間的同時具有良好的泛化能力。

為實現(xiàn)上述目的，本發(fā)明所提供的技術(shù)方案為：一種基于行車視頻的交通標(biāo)志檢測識別方法，包括以下步驟：

1)確定待檢測交通標(biāo)志的主要類別，在交通標(biāo)志檢測數(shù)據(jù)集中對主要類別下的交通標(biāo)志進(jìn)行圖像標(biāo)注工作，并對目標(biāo)檢測網(wǎng)絡(luò)yolov3-tiny進(jìn)行改進(jìn)與訓(xùn)練，得到最優(yōu)的交通標(biāo)志檢測模型進(jìn)行交通標(biāo)志檢測；

2)獲取實際道路行車視頻并讀取視頻中的每一幀圖像，通過交通標(biāo)志檢測模型獲取圖像中可能出現(xiàn)交通標(biāo)志的位置、每個位置上存在交通標(biāo)志的置信度以及每個位置上存在交通標(biāo)志時該標(biāo)志對應(yīng)的粗分類類別，該粗分類類別與主要類別相對應(yīng)；

3)當(dāng)單幀圖像中某位置存在交通標(biāo)志的置信度大于設(shè)定閾值T時，認(rèn)為該處存在交通標(biāo)志，對該處交通標(biāo)志進(jìn)行剪裁并統(tǒng)一尺寸得到寬和高分別為N_w和N_h的待識別交通圖像，再對待識別交通圖像進(jìn)行預(yù)處理，改善待識別交通圖像的質(zhì)量并得到預(yù)處理圖像后，在預(yù)處理圖像的基礎(chǔ)上獲取對應(yīng)的圖像掩膜mask，并利用圖像掩膜mask去除預(yù)處理圖像中無關(guān)背景區(qū)域，最后得到只包含感興趣區(qū)域ROI的交通圖像；