[發(fā)明專利]一種基于卷積神經(jīng)網(wǎng)絡(luò)的車牌識(shí)別方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201811111970.3
• 申請(qǐng)日: 2018-09-14
• 公開(kāi)（公告）號(hào): CN109344825A
• 公開(kāi)（公告）日: 2019-02-15
• 發(fā)明（設(shè)計(jì)）人: 謝清祿;余孟春;劉振輝
• 申請(qǐng)（專利權(quán)）人: 廣州麥侖信息科技有限公司
• 主分類號(hào): G06K9/32
• 分類號(hào): G06K9/32;G06K9/34;G06K9/62;G06N3/04
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

1.一種基于卷積神經(jīng)網(wǎng)絡(luò)的車牌識(shí)別方法，其特征在于：所述的方法包括如下的實(shí)施步驟：

步驟S1、對(duì)車牌圖像進(jìn)行預(yù)處理，包括對(duì)車牌圖像中的字符進(jìn)行標(biāo)注，標(biāo)注車牌字符的位置信息與類別信息，構(gòu)建車牌訓(xùn)練樣本集；

步驟S2、構(gòu)建Faster R-CNN網(wǎng)絡(luò)模型，具體由CNN卷積網(wǎng)絡(luò)層、RPN候選區(qū)域提取層、ROIpooling層和判別層組成；

步驟S3、訓(xùn)練網(wǎng)絡(luò)模型，通過(guò)多任務(wù)損失不斷訓(xùn)練模型，生成一個(gè)準(zhǔn)確率高的FasterR-CNN網(wǎng)絡(luò)模型；

步驟S4、利用訓(xùn)練好的Faster R-CNN網(wǎng)絡(luò)模型進(jìn)行車牌識(shí)別，獲取車牌字符框位置信息與類別信息，再利用先驗(yàn)知識(shí)對(duì)字符位置進(jìn)行判定，排序整合后輸出車牌識(shí)別結(jié)果。

2.根據(jù)權(quán)利要求1所述的一種基于卷積神經(jīng)網(wǎng)絡(luò)的車牌識(shí)別方法，其特征在于：步驟S1中所述的對(duì)車牌圖像進(jìn)行預(yù)處理，包括對(duì)原始車牌圖像做亮度變化調(diào)整，旋轉(zhuǎn)角度變化調(diào)整、大小變換以及色道改變等操作，擴(kuò)展數(shù)據(jù)集合，對(duì)擴(kuò)展后的數(shù)據(jù)進(jìn)行resize，圖像大小變換為336*112，以便于CNN卷積網(wǎng)絡(luò)層中卷積池化時(shí)的4次kernel size為2*2、stride＝2的max pooling操作，所以把大小不一的圖像resize到16的整數(shù)倍大小。

3.根據(jù)權(quán)利要求1所述的一種基于卷積神經(jīng)網(wǎng)絡(luò)的車牌識(shí)別方法，其特征在于：步驟S2中所述的CNN卷積網(wǎng)絡(luò)層是基于VGG16網(wǎng)絡(luò)進(jìn)行改進(jìn)，網(wǎng)絡(luò)結(jié)構(gòu)中包含13個(gè)Conv卷積網(wǎng)絡(luò)、4個(gè)Max Pooling池化層，其中Conv卷積層鏈接的激活函數(shù)全部為ReLU激活函數(shù)，卷積層中的kernel size為3*3且stride＝1、pad＝1，保證輸出大小不改變，池化層采用的都是kernelsize為2*2、stride＝2、pad＝0的Max pooling層，池化后圖像的大小縮小一半，即經(jīng)過(guò)CNN卷積池化后，輸出的長(zhǎng)寬各縮小16倍，深度提升至512的特征平面。

4.根據(jù)權(quán)利要求1所述的一種基于卷積神經(jīng)網(wǎng)絡(luò)的車牌識(shí)別方法，其特征在于：步驟S2中所述的RPN候選區(qū)域提取層包含2個(gè)Conv卷積層、1個(gè)Softmax層、1個(gè)bbox層和1個(gè)proposal層，RPN網(wǎng)絡(luò)對(duì)特征平面進(jìn)行特征框提取，提取寬高比例為1∶1、1∶2、1∶3的3種尺寸的候選框，特征平面的每個(gè)特征點(diǎn)上提取3*3＝9個(gè)候選框，對(duì)輸出的特征平面先做3*3的卷積操作，后經(jīng)過(guò)兩個(gè)1*1的卷積，其中一個(gè)用來(lái)做類別屬性分類的Softmax層，Softmax層尺寸為1*1*18，由于選定了9個(gè)候選框，每個(gè)候選框都區(qū)分2個(gè)類別前景或背景，所以深度為2*9＝18；另一個(gè)用來(lái)做候選框回歸的bbox層為1*1*36的卷積層，目的是對(duì)候選框位置坐標(biāo)回歸，輸出每個(gè)候選中心點(diǎn)的橫坐標(biāo)x、縱坐標(biāo)y、候選框的寬度w和高度h共4個(gè)坐標(biāo)值，該卷積層有9*4＝36的深度，最后通過(guò)一個(gè)proposal層匯總檢出的候選框信息，利用NMS非極大值抑制的方法剔除重疊度過(guò)大、且置信率低的候選框。

5.根據(jù)權(quán)利要求1所述的一種基于卷積神經(jīng)網(wǎng)絡(luò)的車牌識(shí)別方法，其特征在于：步驟S2中所述的ROI pooling層包含1個(gè)crop層、1個(gè)resize層和1個(gè)Flatten層，通過(guò)crop操作提取特征平面上的候選框，再利用插值算法進(jìn)行resize操作，全部resize為7*7，深度為512，再通過(guò)Flatten層把7*7的平面進(jìn)行展平，為后續(xù)的全連接操作做準(zhǔn)備。

6.根據(jù)權(quán)利要求1所述的一種基于卷積神經(jīng)網(wǎng)絡(luò)的車牌識(shí)別方法，其特征在于：步驟S2中所述的判別層由3個(gè)全連接層、1個(gè)Softmax層和1個(gè)bbox層構(gòu)成，通過(guò)2個(gè)4096深度的全連接層，再經(jīng)過(guò)1個(gè)深度為72的全連接網(wǎng)絡(luò)，72深度的全連接層輸出類別信息來(lái)實(shí)現(xiàn)車牌字符類別分類，1個(gè)深度為288的bbox層輸出候選框的位置信息，最后將輸出各字符類別和對(duì)應(yīng)的候選框的位置信息，即x、y、w和h的坐標(biāo)信息，整合完成對(duì)車牌字符的識(shí)別任務(wù)。