[發(fā)明專利]一種遮擋車牌字符識(shí)別方法、裝置、存儲(chǔ)介質(zhì)和智能設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202010185281.8
• 申請(qǐng)日: 2020-03-17
• 公開（公告）號(hào): CN111476234A
• 公開（公告）日: 2020-07-31
• 發(fā)明（設(shè)計(jì)）人: 林春偉;王健宗
• 申請(qǐng)（專利權(quán)）人: 平安科技（深圳）有限公司
• 主分類號(hào): G06K9/32
• 分類號(hào): G06K9/32;G06K9/46;G06N3/04;G06N3/08
• 代理公司: 深圳中一聯(lián)合知識(shí)產(chǎn)權(quán)代理有限公司 44414
• 代理人: 翁唱玲

1.一種遮擋車牌字符識(shí)別方法，其特征在于，包括：

獲取樣本車牌圖像以及樣本擴(kuò)充策略；

基于所述樣本擴(kuò)充策略，從預(yù)設(shè)的樣本遮擋掩碼圖像集中抽取遮擋樣本掩碼圖像；

利用抽取的樣本遮擋掩碼圖像對(duì)所述樣本車牌圖像進(jìn)行遮擋，構(gòu)建樣本遮擋車牌圖像集；

基于所述樣本遮擋車牌圖像集與所述樣本車牌圖像構(gòu)成的樣本車牌圖像集，對(duì)用于遮擋車牌字符識(shí)別的深度學(xué)習(xí)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練；

利用訓(xùn)練好的所述深度學(xué)習(xí)網(wǎng)絡(luò)模型進(jìn)行遮擋車牌字符識(shí)別。

2.根據(jù)權(quán)利要求1所述的遮擋車牌字符識(shí)別方法，其特征在于，所述獲取用于構(gòu)造遮擋樣本車牌圖像的樣本車牌圖像的步驟，包括：

從車輛圖像集合中，隨機(jī)抽取車輛圖像；

從抽取的所述車輛圖像中提取車牌圖像作為樣本車牌圖像；

和/或，

從獲取的道路監(jiān)控視頻中提取車輛圖像；

利用預(yù)先訓(xùn)練好的車牌檢測(cè)模型對(duì)所述車輛圖像進(jìn)行檢測(cè)，獲取車牌圖像；

將獲取的所述車牌圖像作為樣本車牌圖像。

3.根據(jù)權(quán)利要求1所述的遮擋車牌字符識(shí)別方法，其特征在于，所述車牌數(shù)據(jù)包括車牌坐標(biāo)，在所述利用抽取的樣本遮擋掩碼圖像對(duì)所述樣本車牌圖像進(jìn)行遮擋，構(gòu)建樣本遮擋車牌圖像集的步驟之前，還包括：

根據(jù)所述車牌坐標(biāo)與預(yù)設(shè)校正算法，對(duì)所述樣本車牌圖像進(jìn)行圖像校正，獲取校正后的標(biāo)準(zhǔn)樣本車牌圖像；

此時(shí)，所述利用抽取的樣本遮擋掩碼圖像對(duì)所述樣本車牌圖像進(jìn)行遮擋，構(gòu)建樣本遮擋車牌圖像集的步驟，包括：

利用抽取的樣本遮擋掩碼圖像對(duì)所述標(biāo)準(zhǔn)樣本車牌圖像進(jìn)行遮擋，構(gòu)建樣本遮擋車牌圖像集。

4.根據(jù)權(quán)利要求1所述的遮擋車牌字符識(shí)別方法，其特征在于，所述利用抽取的樣本遮擋掩碼圖像對(duì)所述樣本車牌圖像進(jìn)行遮擋，構(gòu)建樣本遮擋車牌圖像集的步驟，包括：

將所述樣本車牌圖像與所述樣本遮擋掩碼圖像進(jìn)行隨機(jī)組合；

將每一組合中的樣本車牌圖像與樣本遮擋掩碼圖像進(jìn)行圖像融合，生成多個(gè)樣本遮擋車牌圖像；

基于構(gòu)建的樣本遮擋車牌圖像，生成樣本遮擋車牌圖像集。

5.根據(jù)權(quán)利要求1所述的遮擋車牌字符識(shí)別方法，其特征在于，在所述基于所述樣本遮擋車牌圖像集與包括樣本車牌圖像的車牌圖像集，對(duì)用于遮擋車牌字符識(shí)別的深度學(xué)習(xí)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練的步驟之前，還包括：

將所述樣本遮擋車牌圖像集中的樣本遮擋車牌圖像作為預(yù)先訓(xùn)練好的車牌遮擋識(shí)別模型的輸入，所述車牌遮擋識(shí)別模型用于識(shí)別車牌是否被遮擋；

根據(jù)所述車牌遮擋識(shí)別模型的輸出結(jié)果，驗(yàn)證所述樣本遮擋車牌圖像是否為有效遮擋的樣本車牌圖像；

根據(jù)驗(yàn)證為有效遮擋的樣本車牌圖像，構(gòu)建目標(biāo)樣本遮擋車牌圖像集；

所述基于所述樣本遮擋車牌圖像集與包括樣本車牌圖像的車牌圖像集，對(duì)用于遮擋車牌字符識(shí)別的深度學(xué)習(xí)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練的步驟，包括：

基于所述目標(biāo)樣本遮擋車牌圖像集與包括樣本車牌圖像的車牌圖像集，對(duì)用于遮擋車牌字符識(shí)別的深度學(xué)習(xí)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練。

6.根據(jù)權(quán)利要求5所述的遮擋車牌字符識(shí)別方法，其特征在于，所述車牌遮擋識(shí)別模型的訓(xùn)練步驟，包括：

構(gòu)建車牌遮擋識(shí)別模型，所述車牌遮擋識(shí)別模型包括卷積層、循環(huán)神經(jīng)網(wǎng)絡(luò)層；

將已標(biāo)注的正負(fù)樣本車牌圖像作為所述車牌遮擋識(shí)別模型的輸入，其中，正樣本車牌圖像為未遮擋的正常車牌圖像，負(fù)樣本車牌圖像為遮擋車牌圖像；

在所述卷積層中進(jìn)行特征提取，得到特征序列；

將所述特征序列輸入至所述循環(huán)神經(jīng)網(wǎng)絡(luò)層中進(jìn)行遮擋識(shí)別，輸出遮擋識(shí)別結(jié)果；

根據(jù)識(shí)別結(jié)果與誤差函數(shù)，調(diào)整所述車牌遮擋識(shí)別模型的模型參數(shù)至最優(yōu)。