[發明專利]基于YOLOv3的同步端到端車牌定位與識別方法

在審

• 申請號: 202010740113.0
• 申請日: 2020-07-28
• 公開（公告）號: CN111914839A
• 公開（公告）日: 2020-11-10
• 發明（設計）人: 徐光柱;匡婉;雷幫軍;萬秋波;吳正平;石勇濤
• 申請（專利權）人: 三峽大學
• 主分類號: G06K9/32
• 分類號: G06K9/32;G06K9/34;G06K9/46;G06N3/04;G06N3/08
• 代理公司: 宜昌市三峽專利事務所 42103
• 代理人: 吳思高

1.基于YOLOv3的同步端到端車牌定位與識別方法，其特征在于包括以下步驟：

步驟1：獲取車牌外接矩形框以及車牌號信息，制作成數據集標簽文件，將數據集分為訓練數據集、驗證數據集和測試數據集；

步驟2：訓練基于YOLOv3的車牌檢測與識別一體化網絡LP-Yolo，使之能在檢測車牌的同時實現對多種類型車牌的識別，將訓練數據集增廣后，放入網絡訓練；

步驟3：利用訓練好的網絡模型，在測試數據集上對車牌進行定位和識別，然后評估模型。

2.根據權利要求1所述基于YOLOv3的同步端到端車牌定位與識別方法，其特征在于步驟3中，利用訓練好的網絡模型，在測試數據集上對車牌進行定位和識別，然后使用精確率與召回率兩個指標來評估模型，具體計算見公式(14)(15)，在對模型進行評估時，若精確率和召回率較低，可以通過改變訓練次數、學習率等重新訓練模型；

Precision＝TP/(TP+FP) (14)；

Recall＝TP/(TP+FN) (15)；

其中：TP為真陽性，表示檢測正確的車牌數量；FP為假陽性，表示非車牌被檢測為車牌的數量；FN為假陰性，表示車牌被檢測為非車牌的數量。

3.基于YOLOv3的端到端車牌檢測與識別網絡LP-Yolo，其特征在于：

該網絡不僅預測車牌位置信息，同時還能夠預測車牌號信息，網絡的輸出層特征通道數nfilter如公式(10)所示：

nfilter＝boxNum*(classes+coord+conf+lp_c+lp_n) (1)

其中，boxNum表示每個單元格預測的邊界框(bounding box)個數，即每個尺度對應一個邊界框，coord表示邊界框的位置信息，即中心點坐標(x,y)和寬w高h，conf表示置信度，classes為類別個數，lp_c表示車牌類型所占位數，lp_n為車牌號所占位數；

網絡LP-Yolo增加了新的預測信息，在原有損失函數的基礎上增加車牌類型及車牌號信息預測的損失，如公式(11)、公式(12)、公式(13)所示：

NTotal_loss＝Total_loss+lpc_loss+lpn_loss (2)

其中，NTotal_loss、Total_loss、lpc_loss、lpn_loss分別為改進模型的總損失、原始模型總損失、車牌類型損失、車牌號損失；S×S為特征圖尺寸；B為特征圖每個網格單元(cell)產生的邊界框數目；M、N分別為車牌類型和車牌號編碼位數；λ_lpc、λ_lpn分別為車牌類型損失權重、車牌號信息損失權重；分別表示第i個網格的第j個anchor是否負責預測目標，當負責時，取值為1，否則，取值為0；分別為車牌類別和車牌號真實編碼值；pc_ik、pn_ik分別為車牌類別和車牌號的網絡預測。

4.根據權利要求3所述基于YOLOv3的端到端車牌檢測與識別網絡LP-Yolo，其特征在于：所述LP-Yolo網絡結構，網絡輸入為416*416*3，經過一系列特征提取后，輸出3個不同尺寸的特征圖，分別為：13*13*nfilter、26*26*nfilter、52*52*nfilter，其中，nfilter為通道數，特征圖中的每個網格會預測三組目標信息。

5.根據權利要求3所述基于YOLOv3的端到端車牌檢測與識別網絡LP-Yolo，其特征在于：所述LP-Yolo網絡結構，能夠預測A信息和B信息，A信息是預測目標邊界框的信息，包括邊界框的中心點(x,y)、寬高(w,h)、置信度s及類別c，對車牌一類目標進行處理，故類別數為1，每個邊框信息占6位；

B信息是預測檢測到的區域內的車牌類別及車牌號信息，對三種類型車牌進行分類識別，分別為普通黃藍黑牌、雙層黃牌、新能源車牌，其中前兩種車牌長度均為7，后一種長度為8；編號0的部分為車牌類型表征位，編號為1-8的區預測當前所檢測到的車牌牌號，如果車牌類型后續還有增加，能夠對其擴展，只需要增加表征車牌類型的編碼位數。

6.根據權利要求5所述基于YOLOv3的端到端車牌檢測與識別網絡LP-Yolo，其特征在于：引入二進制編碼的方法來處理車牌類型及車牌號的預測，編碼規則為：

編號為0的位預測車牌類型，包括3類，使用2位二進制數編碼；

編號為1的位預測省份簡稱，包括31類，使用5位二進制數編碼；

編號為2的位預測發證機關代碼，包括“A-Z”中除字母“O”、“I”的24個字符，使用5位二進制數編碼；

編號為3-8的位預測車牌號字符，包括“A-Z”中除字母“O”、“I”的24個及數字“0-9”，共34類，使用6位二進制數編碼，其中，編號8的預測僅在類型為新能源車牌時有效。