[發(fā)明專利]一種復(fù)雜環(huán)境下多尺度交通標(biāo)志檢測(cè)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202310204400.3
• 申請(qǐng)日: 2023-03-06
• 公開(kāi)（公告）號(hào): CN116168369A
• 公開(kāi)（公告）日: 2023-05-26
• 發(fā)明（設(shè)計(jì)）人: 郭繼峰;鄧維;王永杰;劉晶
• 申請(qǐng)（專利權(quán)）人: 桂林航天工業(yè)學(xué)院
• 主分類號(hào): G06V20/58
• 分類號(hào): G06V20/58;G06V20/70;G06V10/30;G06V10/764;G06V10/82;G06V10/80;G06N3/0464;G06N3/08
• 代理公司: 佛山知正知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 44483
• 代理人: 何江波

1.一種復(fù)雜環(huán)境下多尺度交通標(biāo)志檢測(cè)方法，其特征在于，利用提出的基于挑戰(zhàn)分類器和多路降噪器的分類降噪模塊將圖像進(jìn)行分類并降噪，同時(shí)將處理后的圖像送入改進(jìn)后的YOLOv4模型中檢測(cè)并分類，步驟如下：

步驟1：選擇并收集數(shù)據(jù)集同時(shí)對(duì)數(shù)據(jù)集做初步處理，得到大規(guī)模有多種復(fù)雜環(huán)境的，包含交通標(biāo)志的圖像：

步驟1.1：選擇具有真實(shí)場(chǎng)景的含有大量復(fù)雜環(huán)境的作為基礎(chǔ)數(shù)據(jù)集；

步驟1.2：為了擴(kuò)充數(shù)據(jù)集，提高數(shù)據(jù)集種復(fù)雜環(huán)境圖像的數(shù)量，使用額外拍攝的復(fù)雜環(huán)境下的圖像作為擴(kuò)充，同時(shí)對(duì)這些圖像進(jìn)行標(biāo)注；

步驟1.3：數(shù)據(jù)增強(qiáng)，為進(jìn)一步擴(kuò)大數(shù)據(jù)集的規(guī)模，使用多種圖像增強(qiáng)算法對(duì)原有數(shù)據(jù)集進(jìn)行擴(kuò)充；

步驟2：制作分類降噪模塊，在圖像輸入到檢測(cè)模型之前，先進(jìn)入分類降噪模塊中進(jìn)行預(yù)處理操作，再把預(yù)處理后的圖像輸入到檢測(cè)模型中，提出一個(gè)分類降噪模塊，該模塊包含一個(gè)挑戰(zhàn)分類器和多路降噪器：

步驟2.1：分類降噪模塊結(jié)構(gòu)如圖2所示，首先制作一個(gè)挑戰(zhàn)分類器，該分類器使用VGG16模型作為基準(zhǔn)框架，并通過(guò)遷移學(xué)習(xí)和微調(diào)等方法對(duì)挑戰(zhàn)分類器進(jìn)行調(diào)整與訓(xùn)練，使得挑戰(zhàn)分類器可以將輸入的圖像分為無(wú)挑戰(zhàn)、雨天、雪天、霧天以及鏡頭模糊5種挑戰(zhàn)類型；

步驟2.2：制作降噪器，該降噪器包含4個(gè)降噪塊，分別為去雨塊、去雪塊、去霧塊和去模糊塊，四個(gè)模塊分別對(duì)應(yīng)去雨算法、去雪算法、去霧算法和去模糊算法；

步驟2.3：在去雨算法中，為了保留更多的高頻紋理，減少模糊和高度平滑的產(chǎn)生，我們?cè)贑harbonnier罰函數(shù)的基礎(chǔ)上進(jìn)行改進(jìn)，提出新的罰函數(shù)，該函數(shù)表示為：

其中表示預(yù)測(cè)的殘雨圖像，I_R表示雨水污染的對(duì)應(yīng)物，ε表示懲罰系數(shù)；

步驟2.4：改進(jìn)去模糊算法，將輔助損失改進(jìn)為：

L_Pri(I′^c,I^c；θ^S,θ^Pri)+L_Aux(I′^b,I^b；θ^S,θ^Aux,θ^Pri)

其中，L_Pri和L_Aux分別為主任務(wù)和輔任務(wù)的多尺度損失，I^b為在動(dòng)態(tài)場(chǎng)景中拍攝的模糊圖像，I^c為恢復(fù)干凈的圖像，θ^S表示共享權(quán)重，θ^Pri和θ^Aux分別是主去模糊分支和輔助重建分支的任務(wù)特定權(quán)重；

步驟2.5：輸入到分類降噪模塊的圖像在經(jīng)過(guò)挑戰(zhàn)分類器后，被分為5類，包括4種噪聲類型的圖像以及1種無(wú)噪聲圖像；4種噪聲圖像經(jīng)不同降噪塊降噪后和無(wú)噪聲圖像進(jìn)行合并，合并后的圖像傳入到改進(jìn)YOLOv4模型中；

步驟3：引入改進(jìn)金字塔結(jié)構(gòu)；提出一種改進(jìn)后的新型特征金字塔(FT-FPN)以代替YOLOv4原有的特征金字塔，F(xiàn)T-FPN由自適應(yīng)特征融合模塊和多尺度特征傳遞機(jī)制組成，F(xiàn)T-FPN可以增強(qiáng)特征金字塔的表達(dá)能力，提高多尺度目標(biāo)識(shí)別的準(zhǔn)確性：

步驟3.1：制作自適應(yīng)特征融合模塊AFFM，所提出的自適應(yīng)特征融合模塊結(jié)構(gòu)圖如圖3所示，首先使用自適應(yīng)平均池層獲得不同尺度的多個(gè)上下文特征，然后通過(guò)空間注意機(jī)制為每個(gè)特征圖生成空間權(quán)重圖，空間權(quán)重圖可以融合上下文特征并生成包含上下文特征的新特征圖，最后新的特征圖和原來(lái)的高級(jí)特征圖結(jié)合并與低級(jí)別的其他特征進(jìn)行融合；

步驟3.2：提出的多尺度特征傳遞機(jī)制結(jié)構(gòu)如4所示，多尺度特征傳遞機(jī)制先將特征圖分為小尺度、中尺度、大尺度，不同尺度攜帶不同特征，以便于多尺度特征的融合，提高模型的性能；

步驟3.3：將小尺度特征在通道維度上分為兩部分，一部分進(jìn)行上采樣后與中尺度特征融合得到中尺度特征的中間特征，另一部分進(jìn)行高倍上采樣后與大尺度特征融合得到大尺度特征的中間特征；

步驟3.4：將中尺度特征在通道維度上分為兩部分，一部分進(jìn)行上采樣后與大尺度特征的中間特征融合得到大尺度特征塊，另一部分進(jìn)行下采樣后與小尺度特征融合生成小尺度特征的中間特征；

步驟3.5：將大尺度特征在通道維度上分為兩部分，一部分進(jìn)行下采樣后與中尺度特征的中間特征融合生成中尺度特征塊，另一部分進(jìn)行高倍下采樣后與小尺度特征的中間特征融合生成小尺度特征塊；

步驟4：改進(jìn)損失函數(shù)來(lái)優(yōu)化訓(xùn)練模型，提高算法速度和精度，同時(shí)改進(jìn)非極大值抑制提高生成檢測(cè)框的準(zhǔn)確率：

步驟4.1：使用EIOU?Loss代替CIOU?Loss作為YOLOv4的邊界盒損失函數(shù)，在CIOU?Loss的基礎(chǔ)上將縱橫比拆開(kāi)，分別計(jì)算寬高的差異值，EIOU損失函數(shù)的定義為：

其中b和b^gt分別為預(yù)測(cè)框和真實(shí)框的中心點(diǎn)，ρ為兩個(gè)中心點(diǎn)的歐氏距離，c表示能夠同時(shí)包含預(yù)測(cè)框和真實(shí)框的最小閉包區(qū)域的對(duì)角線距離，ω、ω^gt、h、h^gt分別為預(yù)測(cè)框和真實(shí)框的寬度與長(zhǎng)度，c_ω、c_h為覆蓋兩個(gè)框的最小外接矩形寬度與長(zhǎng)度；

步驟4.2：使用Cluster-NMS代替DIOU-NMS作為YOLOv4的非極大值抑制算法，同時(shí)融合加權(quán)平均法來(lái)進(jìn)一步提高模型推理速度和檢測(cè)精度；

步驟5：預(yù)訓(xùn)練挑戰(zhàn)分類器，并作進(jìn)一步優(yōu)化，然后訓(xùn)練挑戰(zhàn)分類器及檢測(cè)模型：

步驟5.1：預(yù)訓(xùn)練挑戰(zhàn)分類器，引入遷移學(xué)習(xí)并將其在ImageNet數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練，得到可以識(shí)別圖像低水平特征的模型參數(shù)，預(yù)訓(xùn)練分為特征提取階段和分類階段；

步驟5.2：特征提取，配置特征提取器卷積塊的數(shù)量和卷積核尺寸，一個(gè)批處理規(guī)范化層和一個(gè)ReLU激活層；

步驟5.3：特征分類階段，加載VGG16網(wǎng)絡(luò)模型，模型底層使用從ImageNet預(yù)先訓(xùn)練好的特征提取層參數(shù)，同時(shí)對(duì)頂層網(wǎng)絡(luò)進(jìn)行微調(diào)，使用Softmax激活函數(shù)來(lái)輸出5種標(biāo)簽(雨、雪、霧、模糊和無(wú)噪聲)；

步驟5.4：挑戰(zhàn)分類器使用分類交叉熵作為損失函數(shù)，配置優(yōu)化器，同時(shí)設(shè)置learningrate和training?epochs；

步驟5.5：訓(xùn)練改進(jìn)后的YOLOv4模型，配置優(yōu)化器，同時(shí)設(shè)置learning?rate、batch_size和training?epochs。