[發(fā)明專利]一種基于深度學(xué)習(xí)的傾斜車牌矯正方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110767061.0
• 申請(qǐng)日: 2021-07-07
• 公開（公告）號(hào): CN113435446A
• 公開（公告）日: 2021-09-24
• 發(fā)明（設(shè)計(jì)）人: 劉鵬;張真;秦恩泉;唐甜甜;曹騮;張海天;顧焜;袁高峰
• 申請(qǐng)（專利權(quán)）人: 南京云創(chuàng)大數(shù)據(jù)科技股份有限公司
• 主分類號(hào): G06K9/32
• 分類號(hào): G06K9/32;G06K9/62;G06K9/46;G06N3/04;G06N3/08
• 代理公司: 南京鐘山專利代理有限公司 32252
• 代理人: 戴朝榮

1.一種基于深度學(xué)習(xí)的傾斜車牌矯正方法，其特征在于，包括如下步驟：

步驟1，獲取車牌局部圖像，構(gòu)建標(biāo)注車牌角點(diǎn)的可視化工具；

步驟2，構(gòu)建基于深度學(xué)習(xí)的目標(biāo)檢測網(wǎng)絡(luò)模型，訓(xùn)練該模型；

步驟3，構(gòu)建全卷積車牌類型分類網(wǎng)絡(luò)，訓(xùn)練該模型；

步驟4，進(jìn)行車牌檢測，獲取車牌的局部圖像，使用步驟2得到的模型檢測局部圖像中的車牌角點(diǎn)進(jìn)行定位；

步驟5，利用步驟3得到的車牌類型分類網(wǎng)絡(luò)判斷車牌類型；

步驟6，按車牌類型進(jìn)行相應(yīng)的透視變換，將檢測到的角點(diǎn)坐標(biāo)調(diào)整到固定的值，并調(diào)整其長寬比與標(biāo)準(zhǔn)情況相接近。

2.根據(jù)權(quán)利要求1所述的傾斜車牌矯正方法，其特征在于，步驟1中的標(biāo)注車牌角點(diǎn)的可視化工具內(nèi)置一個(gè)傳統(tǒng)車牌檢測器，每個(gè)角點(diǎn)的標(biāo)注框是正方形；根據(jù)車牌局部圖像的坐標(biāo)自動(dòng)計(jì)算標(biāo)注框的大小。

3.根據(jù)權(quán)利要求2所述的傾斜車牌矯正方法，其特征在于，車牌局部圖像的大小固定為500×500，標(biāo)注框大小為車牌高度的三分之二，為每幅訓(xùn)練圖像標(biāo)注4個(gè)角點(diǎn)。

4.根據(jù)權(quán)利要求1所述的傾斜車牌矯正方法，其特征在于，步驟2中的目標(biāo)檢測網(wǎng)絡(luò)是一個(gè)全卷積的神經(jīng)網(wǎng)絡(luò)，并在兩種不同尺寸的特征圖上進(jìn)行檢測角點(diǎn)。

5.根據(jù)權(quán)利要求1所述的傾斜車牌矯正方法，其特征在于，步驟2中構(gòu)建的基于深度學(xué)習(xí)的目標(biāo)檢測網(wǎng)絡(luò)模型為于YOLOv3的角點(diǎn)檢測模型。

6.根據(jù)權(quán)利要求5所述的傾斜車牌矯正方法，其特征在于，基于深度學(xué)習(xí)的目標(biāo)檢測網(wǎng)絡(luò)共有20層；網(wǎng)絡(luò)的輸入是224×224的3通道圖像，第1至11層是卷積核大小為3×3的卷積層；第13層為yolo層，在7×7大小的特征圖上檢測目標(biāo)；第14層為route層，用于獲取第11層特征圖；第15層為卷積核大小1×1的卷積層；第16層是上采樣層，將特征圖大小變?yōu)?4×14；第17層為route層，用于拼接第7、16兩層的特征圖；第18層是卷積核大小為3×3的卷積層；第20層為yolo層，在14×14大小的特征圖上檢測目標(biāo)。

7.根據(jù)權(quán)利要求1所述的傾斜車牌矯正方法，其特征在于，步驟3中訓(xùn)練的車牌類型分類網(wǎng)絡(luò)用于把車牌類型分為三類：

a）包含8個(gè)字符的單層新能源車牌；

b）包含7個(gè)字符的單層車牌，包括車頭普通的藍(lán)牌、黃牌、警車車牌；

c）雙層字符車牌，包括黃牌、掛車車牌。

8.根據(jù)權(quán)利要求7所述的傾斜車牌矯正方法，其特征在于，車牌類型分類網(wǎng)絡(luò)，包含8個(gè)卷積層、一個(gè)全局平均池化層、一個(gè)全連接層以及一個(gè)概率輸出層的全卷積網(wǎng)絡(luò)；網(wǎng)絡(luò)輸入大小為96×96×3，每一個(gè)卷積層均使用大小為3×3的卷積核，激活函數(shù)均為Relu。

9.根據(jù)權(quán)利要求1所述的傾斜車牌矯正方法，其特征在于，在步驟6中根據(jù)檢測到的角點(diǎn)坐標(biāo)分車牌類別進(jìn)行透視變換，將角點(diǎn)坐標(biāo)變換為固定的坐標(biāo)點(diǎn)、長寬比調(diào)整到與標(biāo)準(zhǔn)情況相接近。

10.根據(jù)權(quán)利要求1所述的傾斜車牌矯正方法，其特征在于，步驟6中透視變換過程方法如下：

根據(jù)4對(duì)車牌角點(diǎn)坐標(biāo)計(jì)算3×3的變換矩陣M：

其中，，t_i是線性變換參數(shù)；

矯正后的車牌局部圖像的計(jì)算方式：

其中，src為矯正之前的車牌局部圖像；dst為矯正之后的車牌局部圖像；M₁₁…M₃₃為變換矩陣M對(duì)應(yīng)位置的元素。