[發明專利]一種基于深度神經網絡的車牌識別虛警過濾算法

有效

• 申請號: 202011239038.6
• 申請日: 2020-11-09
• 公開（公告）號: CN112308083B
• 公開（公告）日: 2023-10-10
• 發明（設計）人: 周慶標;杜艷明;方杰
• 申請（專利權）人: 浙江工業職業技術學院
• 主分類號: G06V20/62
• 分類號: G06V20/62;G06V30/148;G06V30/18;G06V30/19;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 杭州研基專利代理事務所(普通合伙) 33389
• 代理人: 謝東

1.一種基于深度神經網絡的車牌識別虛警過濾算法，其特征在于：包括FAFNet輸入圖像的裁剪規則和FAFNet網絡設計；

S1：裁剪規則

FAFNet的輸入圖像是根據車牌識別獲得的車牌坐標以及裁剪參數在原始圖像上截取得到。而且，我們主要利用真實車牌周圍區域的車頭特征來分辨真實車牌和虛警車牌。

根據裁剪規則以及大量的經驗測試，我們發現m＝3，n＝8是最適合中國車牌的裁剪參數。

S2：FAFNet網絡設計

DenseNet的參數更少，模型尺寸更小，計算速度快，滿足了構建輕量級網絡的要求。而且其獨特的密集結構加深了網絡的深度，并同時使得模型具有隱性監督和正則化的效果，能夠使模型保持高質量的精度。

a.密集塊

密集塊(Denseblock)是本網絡的主要組成部分，它是許多密集細胞(DenseCell)的串聯組成。我們定義網絡中的密集細胞為[1×1conv，3×3conv]。在本文中，s×sconv是一個復合函數(s是卷積核大小)，它包含三個部分：s×s卷積(Convolutioal)、批量歸一化操作(BatchNormalization，BN)[10]和泄露修正線性單元(LeakyRectifieLinearUnit，LeakyReLU)。在網絡中，1×1conv作為瓶頸層(BottleneckLayer)，其位置在3×3conv之前，文獻[7，8]中指出，瓶頸層可以減少輸入特征圖的數量，從而提高計算效率。

b.轉換層

轉換層(TrainsitionLayer)是FAFNet的重要組成部分，它的主要作用連接網絡中的密集塊，并對密集塊的特征進行融合和降采樣。轉換層包括一個1×1conv層和一個2×2的最大池化層，其中1×1conv的主要作用是將密集塊中串聯的特征進行融合，并且同時也增加了網絡的深度，其輸出特征圖個數與密集塊的輸出相同；2×2的最大池化層用來進行特征的下采樣。

c.實現細節

AFNet有4個密集塊和3個轉換層。它的輸入圖像大小為112×112×3。在第一個密集塊之前，我們設計了一個卷積核大小為3×3，輸出為8通道的conv層來處理輸入圖像。對于3×3的卷積層，設置其步長為1，輸入的每一邊都由一個像素填充為0，以保持特征圖大小不變。我們將轉換層設置在兩個相鄰的密集塊之間，每個轉換層后都增加一倍的輸出通道數。密集細胞在每個密集塊中的個數分別是{1，2，4，4}，對于每個密集細胞，我們設定k＝8，λ＝2。在最后一個密集塊后，我們設計了一個1×1的卷積層和一個線性激活層，其輸出通道數等于分類標簽的個數；然后應用全局平均池化層，再使用softmax分類器進行分類。

S3：實驗與結果

介紹了訓練數據和訓練的細節；其次將FAFNet與經典分類網絡LeNet、AlexNet進行對比，在數據集上驗證FAFNet在精度和速度上的強大性能；最后我們探討了車牌、車頭顏色、邊緣二值圖對FAFNet模型的影響，研究FAFNet模型提取的主要特征和模型的魯棒性。

a.數據集合預處理

正樣本包含白天夜間情況下不同車型的車牌識別場景，以及一些特殊情況下的識別場景，例如高噪聲，低光照，雨霧天氣等；

負樣本數據由三部分組成，第一部分是一些無車的自然場景，包括綠化帶、道路減速帶和道路欄桿等；第二部分為相機采集的虛警數據，主要是車身文字，以及其他的自然場景文字；第三部分為COCO-Text數據集中的部分自然場景文字圖片。

為了進一步擴大負樣本的數據量，提高數據的多樣性，我們對負樣本進行了樣本增廣，主要操作有隨機旋轉、尺度縮放以及隨機剪切等

b.訓練細節

在訓練過程中，我們采用隨機梯度下降法來訓練FAFNet模型，設定批量訓練大小(BatchSize)為128，初始學習率(LearningRate)為〖10〗^(-3)，上一次的梯度權重(momentum)[12]為0.9，仿照[13]設定權重衰減項(WeightDecay)為5×〖10〗^(-4)。訓練迭代的最大次數為105w，學習率分別在20w次和60次時乘以0.1。

c.與LeNet、AlexNet的結果對比

FAFNet的強大性能，在模型大小方面，FAFNet模型大小僅有0.11MB，相較于LeNet與AlexNet的模型大小，分別下降了542倍和1036倍；同時在識別率方面，FAFNet略高于AlexNet，相比于LeNet高了0.14％，這說明FAFNet有效的避免了網絡參數冗余，極大的提高了參數利用率；在浮點運算量方面，FAFNet完成一次前向傳播的運算量僅為0.024GFlops，遠遠低于LeNet和AlexNet；在識別速度方面，我們分別對比了FAFNet在GPU、CPU和HISI上的識別速度，由表看出在GPU上，LeNet由于網絡結構簡單，識別速度較快，AlexNet和FAFNet識別速度相差不大，但是在CPU和HISI上，我們可以明顯看出FAFNet的識別速度遠遠快于LeNet和AlexNet，并且能夠在HISI上實現實時的虛警處理。

d.車牌區域、車頭顏色、邊緣二值圖對模型的影響

(1)車牌區域

車牌填充后的識別率與未填充之前的識別率相差不大，因此我們可以得出FAFNet主要提取的是車頭信息，車牌區域對模型基本上沒有影響

(2)車頭顏色

屏蔽掉車頭顏色信息后，模型的虛警過濾能力依然保持著強大的效果，這說明FAFNet模型對于車頭顏色信息也有很強的魯棒性

(3)邊緣二值圖

基于邊緣二值圖的模型的虛警效果與基于彩色圖像的模型的虛警效果相差不大，所以我們可以得出FAFNet模型主要提取的就是車頭的邊緣輪廓特征。

車牌區域信息與車頭顏色信息對于模型均影響很小，對于邊緣二值圖模型來說，如果對邊緣檢測和二值化算法進行進一步的優化，那么基于邊緣二值圖的虛警過濾模型應該比基于彩色圖的虛警過濾模型有更好的效果

S4：模型國際化

實現了虛警過濾模型的國際化，它相較于方案一有以下兩個方面的優勢：

(1)降低了數據收集成本，不需要對每個國家的車牌數據進行收集；

(2)降低了訓練成本，不需要對每個國家單獨訓練對應的模型。

因此我們只需要訓練一個國家的虛警過濾模型，然后通過虛擬車牌的方法，就可以讓其適用于其他國家。

S5：結論

FAFNet，它是基于深度卷積神經網絡構造而成，是一個輕量級的神經網絡，能夠進行端到端的訓練。在本文中，我們首先展示了FAFNet的設計細節，其獨特的網絡架構不僅極大的降低了參數量和計算速度，而且加深了網絡深度，使得模型能夠實現高精度；然后我們針對虛警過濾模型國際化問題，我們提出一種虛擬車牌的解決方法，能夠使得虛警過濾模型適用于其他國家，避免了數據的重復收集和訓練。最后通過在工業數據集上的實驗，我們驗證了FAFNet優秀的虛警過濾性能和在不同硬件設備上(GPU，CPU，HISI)的識別速度，結果表明FAFNet完全適用于嵌入式設備，并且能實現高效實時的過濾功能。