[發(fā)明專利]一種復(fù)雜場景下的車牌檢測識(shí)別方法以及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110886996.0
• 申請(qǐng)日: 2021-08-03
• 公開（公告）號(hào): CN113609969A
• 公開（公告）日: 2021-11-05
• 發(fā)明（設(shè)計(jì)）人: 林海華;琚午陽
• 申請(qǐng)（專利權(quán)）人: 北京睿芯高通量科技有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京科龍寰宇知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11139
• 代理人: 孫皓晨

1.一種復(fù)雜場景下的車牌檢測識(shí)別方法，其特征在于，包括如下步驟：

步驟S1：采集車輛視頻流，并在視頻流中提取圖片數(shù)據(jù)；

步驟S2：構(gòu)建車輛局部定位模塊，并將圖片數(shù)據(jù)作為車輛局部定位模塊的訓(xùn)練數(shù)據(jù)，得到車牌局部定位模型；

步驟S3：構(gòu)建車牌角點(diǎn)檢測模塊，并將車牌局部定位模塊的輸出作為車輛角點(diǎn)檢測的訓(xùn)練數(shù)據(jù)，得到車牌角點(diǎn)檢測模型；

步驟S4：對(duì)視頻流按照靜止幀提取待檢測的視頻圖像序列；

步驟S5：將視頻圖片序列輸入局部定位模塊，得到帶有車牌的車輛局部圖片并輸出局部圖片的位置信息和車牌顏色信息；

步驟S6：將局部定位模塊的輸出作為車牌角點(diǎn)檢測模塊的輸入，得到車牌角點(diǎn)信息和外接矩形框信息；

步驟S7：根據(jù)得到的車牌角點(diǎn)信息和外接矩形信息進(jìn)行圖片矯正；

步驟S8：構(gòu)建車牌識(shí)別模塊，將車牌圖片作為車牌識(shí)別模型的訓(xùn)練數(shù)據(jù)，得到車牌識(shí)別模型；

步驟S9：將步驟S7中的矯正的圖片作為車牌識(shí)別模塊輸入，得到圖片識(shí)別結(jié)果。

2.根據(jù)權(quán)利要求1所述的一種復(fù)雜場景下的車牌檢測識(shí)別方法，其特征在于，所述步驟S2包括如下子步驟：

步驟S21：利用線性插值的方法調(diào)整圖像大小為固定值；

步驟S22：利用神經(jīng)網(wǎng)絡(luò)框架提取高級(jí)特征；

步驟S23：通過多尺度特征融合的方法，進(jìn)行反采樣，輸出為顏色分類分支和位置信息分支。

3.根據(jù)權(quán)利要求2所述的一種復(fù)雜場景下的車牌檢測識(shí)別方法，其特征在于，顏色分類分支采用softmax回歸算法，位置信息分支采用SmothL1非線性函數(shù)，softmax和SmothL1公式分別具體為：

Softmax：

SmothL1：

其中，在softmax函數(shù)中，y_j為j個(gè)顏色的類別概率，x_i為第i個(gè)節(jié)點(diǎn)值，x_j為第j個(gè)節(jié)點(diǎn)值；在SmothL1中，y為預(yù)測的坐標(biāo)值，為真實(shí)的坐標(biāo)值，其中坐標(biāo)包括左上角坐標(biāo)和右下角坐標(biāo)。

4.根據(jù)權(quán)利要求1所述的一種復(fù)雜場景下的車牌檢測識(shí)別方法，其特征在于，所述步驟S3包括如下子步驟：

步驟S31：利用車輛局部定位模塊的輸出圖片作為輸入；

步驟S32：利用padding方式將圖像調(diào)整到固定大小；

步驟S33：利用神經(jīng)網(wǎng)絡(luò)框架提取高級(jí)特征，輸出三個(gè)分支，其中三個(gè)分支包括，置信度得分信息、外接矩形位置信息和角點(diǎn)位置信息。

5.根據(jù)權(quán)利要求4所述的一種復(fù)雜場景下的車牌檢測識(shí)別方法，其特征在于：所述置信度得分信息采用sigmoid回歸算法，所述外接矩形位置信息和所述角點(diǎn)位置信息分支采用SmothL1非線性函數(shù)，sigmoid的公式具體如下：

Sigmoid：

其中，z＝wx+b，x為輸出節(jié)點(diǎn)值，w為所對(duì)應(yīng)權(quán)重值，b為所對(duì)應(yīng)的偏置值，y為輸出有目標(biāo)的概率值，若y0.5,則表示檢測到車牌，反之，沒有檢測到車牌。

6.根據(jù)權(quán)利要求1所述的一種復(fù)雜場景下的車牌檢測識(shí)別方法，其特征在于，所述步驟S8包括如下子步驟：

步驟S81：利用線性插值方式將矯正后圖像調(diào)整到固定大小，作為車牌識(shí)別模塊的輸入；

步驟S82：通過神經(jīng)網(wǎng)絡(luò)框架提取高級(jí)特征，得到68x18的特征圖，通過貪心算法對(duì)車牌進(jìn)行字符識(shí)別，并通過CTCloss進(jìn)行反向傳播。