[發明專利]一種基于視頻監控的新能源車牌檢測方法

有效

• 申請號: 201810993897.0
• 申請日: 2018-08-29
• 公開（公告）號: CN109255350B
• 公開（公告）日: 2021-12-10
• 發明（設計）人: 劉峰;王瀟凡;干宗良;崔子冠;唐貴進
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06K9/32
• 分類號: G06K9/32;G06K9/62;G06N3/04
• 代理公司: 南京縱橫知識產權代理有限公司 32224
• 代理人: 董建林

1.一種基于視頻監控的新能源車牌檢測方法，其特征在于，包括以下步驟：

S1，采集若干含車牌區域的新能源車輛圖片，對每張圖片中新能源車輛的車牌區域進行手工精確標點工作，建立訓練模型的數據集；

S2，構建新能源車牌檢測訓練神經網絡，所述神經網絡包括特征提取模塊、特征融合模塊和預測結果輸出模塊；將建立好的數據集輸入神經網絡獲取新能源車牌檢測模型；

S3，從監控視頻中獲取一幀含有車輛及車牌的圖像，對所述一幀圖像中的車輛進行檢測篩選，篩選出新能源車輛圖像作為待檢測圖像，得到多個待檢測圖像，并以監控視頻幀序列中新能源車輛出現的時間順序給所述多個待檢測圖像命名，建立待檢測新能源車輛圖像集合；

S4，根據所述新能源車牌檢測模型對待檢測新能源車輛圖像進行車牌區域檢測，得出基于不同置信度的候選框；

S5，根據不同置信度的候選框分配不同的權重值對候選框進行合并，并對車牌坐標進行精確回歸，產生精確位置坐標信息，得到最終新能源車牌檢測結果；

步驟S2中，所述特征提取模塊采用自上而下的方式，逐層提取車牌不同粒度特征；所述特征提取模塊采用4個卷積塊共10個卷積層，第一和第二個卷積塊均包含2個卷積層和1個池化層，第三和第四個卷積塊均包含3個卷積層和1個池化層；所述卷積塊對訓練數據集提取特征并輸出3個特征圖；

所述特征融合模塊將提取的特征自下而上進行融合；所述卷積塊輸出的特征圖記為f_i，其中，i＝1，2，3，所述3個特征圖的尺寸分別是輸入圖像尺寸的1/16，1/8，1/4；特征融合的公式如下：

其中，g_i表示融合的基準特征圖，h_i是融合后的新特征圖，將上一層特征圖g_i-1通過上采樣將圖的尺寸放大一倍，再與當前層特征圖f_i進行融合，使用conv1*1減少通道數和計算量，使用conv3*3融合特征信息；在最后的融合操作中，使用一個conv3*3產生最終融合后的特征圖，并傳入輸出層；

所述預測結果輸出模塊包含7個通道，用于輸出多個候選框、各候選框對應的置信度值以及新能源車牌區域的幾何形狀；其中，1個通道用于判斷新能源車牌文字區域是否在檢測框內；2個通道用于判斷候選框是否屬于新能源車牌文字區域框的邊界像素；4個通道用于輸出預測的邊界像素對應的2個頂點坐標。

2.根據權利要求1所述的一種基于視頻監控的新能源車牌檢測方法，其特征在于，步驟S1中，所述手工精確標點工作包括：對新能源車牌區域左上角、右上角、右下角和左下角四個點依次進行順時針標注；所述數據集為包含四個坐標點的八個數值信息txt格式文本。

3.根據權利要求1所述的一種基于視頻監控的新能源車牌檢測方法，其特征在于，步驟S2中，所述新能源車牌檢測模型為：

(plate_box,score)＝plate_detection(src)＝Conv10(src)+network(Feature)+plate_box_pred(side_pix)

其中，src表示含車牌區域的新能源車輛圖片，plate_box表示檢測到的所有新能源車牌的坐標位置，score表示對應車牌區域的最終置信度得分，plate_detection()表示新能源車牌的檢測定位模型，Conv10()表示10層卷積神經網絡提取特征，network()表示特征融合網絡，plate_box_pred()表示坐標回歸器。

4.根據權利要求1所述的一種基于視頻監控的新能源車牌檢測方法，其特征在于，步驟S3中，所述獲取的一幀圖像大小為2592*2048像素點；

所述步驟S3還包括：對待監測新能源車輛圖像集合中的所有圖像進行歸一化操作，將所有圖像統一大小為256*256像素點。