[發(fā)明專(zhuān)利]面向復(fù)雜場(chǎng)景的車(chē)牌識(shí)別方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201911133792.9
• 申請(qǐng)日: 2019-11-19
• 公開(kāi)（公告）號(hào): CN110991444B
• 公開(kāi)（公告）日: 2023-08-29
• 發(fā)明（設(shè)計(jì)）人: 呂禮;杜姍姍;馮瑞
• 申請(qǐng)（專(zhuān)利權(quán)）人: 復(fù)旦大學(xué)
• 主分類(lèi)號(hào): G06V20/62
• 分類(lèi)號(hào): G06V20/62;G06V30/19;G06V10/82;G06N3/0464;G06N3/084
• 代理公司: 上海德昭知識(shí)產(chǎn)權(quán)代理有限公司 31204
• 代理人: 盧泓宇

1.一種面向復(fù)雜場(chǎng)景的車(chē)牌識(shí)別方法，用于對(duì)復(fù)雜場(chǎng)景下的待測(cè)圖像進(jìn)行車(chē)牌識(shí)別從而識(shí)別出車(chē)牌的字符識(shí)別結(jié)果，其特征在于，包括：

步驟S1，對(duì)所述待測(cè)圖像進(jìn)行預(yù)處理得到預(yù)處理圖像集；

步驟S2，搭建YOLOv3車(chē)牌檢測(cè)模型；

步驟S3，根據(jù)包含多張訓(xùn)練圖像的車(chē)牌檢測(cè)訓(xùn)練集對(duì)所述YOLOv3車(chē)牌檢測(cè)模型進(jìn)行模型訓(xùn)練；

步驟S4，搭建端到端的車(chē)牌識(shí)別卷積神經(jīng)模型；

步驟S5，根據(jù)所述車(chē)牌檢測(cè)訓(xùn)練集對(duì)所述端到端的車(chē)牌識(shí)別卷積神經(jīng)模型進(jìn)行模型訓(xùn)練；

步驟S6，將所述預(yù)處理圖像集輸入訓(xùn)練完成的所述YOLOv3目標(biāo)檢測(cè)模型進(jìn)行車(chē)牌目標(biāo)檢測(cè)從而得到車(chē)牌位置；

步驟S7，依次根據(jù)所述車(chē)牌位置對(duì)相應(yīng)的所述待測(cè)圖像進(jìn)行識(shí)別處理從而得到相應(yīng)的車(chē)牌圖像，并將每張所述待測(cè)圖像對(duì)應(yīng)的所有所述車(chē)牌圖像處理為一個(gè)車(chē)牌圖像集；

步驟S8，將所述車(chē)牌圖像集輸入訓(xùn)練完成的所述端到端的車(chē)牌識(shí)別卷積神經(jīng)模型進(jìn)行字符識(shí)別從而得到所述車(chē)牌的字符識(shí)別結(jié)果，

其中，所述端到端的車(chē)牌識(shí)別卷積神經(jīng)模型共有12個(gè)卷積層以及接著連接的多個(gè)全連接層，各個(gè)所述全連接層分別依次對(duì)應(yīng)所述車(chē)牌從左到右的字符輸出，

所述步驟S2包括如下子步驟：

步驟S2-1，使用k均值聚類(lèi)算法在車(chē)牌檢測(cè)訓(xùn)練集上進(jìn)行聚類(lèi)運(yùn)算得到x個(gè)先驗(yàn)包圍盒，再將該x個(gè)先驗(yàn)包圍盒映射到Y(jié)OLOv3車(chē)牌檢測(cè)網(wǎng)絡(luò)模型所要求的輸入圖像的尺寸上從而得到x個(gè)新的先驗(yàn)包圍盒；

步驟S2-2，搭建所述YOLOv3車(chē)牌檢測(cè)網(wǎng)絡(luò)模型的卷積層作為特征提取器，所述卷積層默認(rèn)為53層，分別輸出13*13，26*26和52*52三種尺寸的特征圖；

步驟S2-3，將所述步驟S2-1得到的x個(gè)先驗(yàn)包圍盒按照尺寸大小進(jìn)行排序，并平均分為三份，進(jìn)一步將小尺寸的特征圖與大尺寸的先驗(yàn)包圍盒相結(jié)合、大尺寸特征圖與小尺寸的先驗(yàn)包圍盒結(jié)合、中等尺寸的特征圖與中等尺寸的先驗(yàn)包圍盒相結(jié)合構(gòu)造車(chē)牌檢測(cè)結(jié)果，

所述先驗(yàn)包圍盒的個(gè)數(shù)x為3的倍數(shù)。

2.根據(jù)權(quán)利要求1所述的面向復(fù)雜場(chǎng)景的車(chē)牌識(shí)別方法，其特征在于：

其中，所述預(yù)處理圖像集為一個(gè)由一張或多張預(yù)處理圖像組成的batch，所述YOLOv3車(chē)牌檢測(cè)網(wǎng)絡(luò)模型對(duì)所述預(yù)處理圖像集進(jìn)行批量并行處理，

所述車(chē)牌圖像集為一個(gè)由一張或多張所述車(chē)牌圖像組成的batch，所述端到端的車(chē)牌識(shí)別卷積神經(jīng)模型對(duì)所述車(chē)牌圖像集進(jìn)行批量并行處理。

3.根據(jù)權(quán)利要求1所述的面向復(fù)雜場(chǎng)景的車(chē)牌識(shí)別方法，其特征在于：

其中，所述先驗(yàn)包圍盒的個(gè)數(shù)默認(rèn)為9。

4.根據(jù)權(quán)利要求1所述的面向復(fù)雜場(chǎng)景的車(chē)牌識(shí)別方法，其特征在于：

其中，所述預(yù)處理包括：

保留原始的所述待測(cè)圖像用于所述步驟S7的識(shí)別處理；

對(duì)所述待測(cè)圖像進(jìn)行尺寸統(tǒng)一以及圖像歸一化從而滿足所述YOLOv3車(chē)牌檢測(cè)模型所要求的輸入圖像的尺寸。

5.一種根據(jù)如權(quán)利要求1-4中任一項(xiàng)所述的面向復(fù)雜場(chǎng)景的車(chē)牌識(shí)別方法構(gòu)建得到的面向復(fù)雜場(chǎng)景的車(chē)牌識(shí)別裝置，用于對(duì)復(fù)雜場(chǎng)景下的待測(cè)圖像進(jìn)行車(chē)牌識(shí)別從而識(shí)別出車(chē)牌的字符識(shí)別結(jié)果，其特征在于，包括：

預(yù)處理部，用于對(duì)所述待測(cè)圖像進(jìn)行預(yù)處理得到預(yù)處理圖像集；

車(chē)牌檢測(cè)部，存儲(chǔ)有訓(xùn)練完成的所述YOLOv3車(chē)牌檢測(cè)模型，用于對(duì)所述預(yù)處理圖像集進(jìn)行車(chē)牌目標(biāo)檢測(cè)從而得到車(chē)牌位置；

車(chē)牌圖像處理部，用于依次根據(jù)所述車(chē)牌位置對(duì)相應(yīng)的所述待測(cè)圖像進(jìn)行識(shí)別處理從而得到相應(yīng)的車(chē)牌圖像，并將每張所述待測(cè)圖像對(duì)應(yīng)的所有所述車(chē)牌圖像處理為一個(gè)車(chē)牌圖像集；以及

車(chē)牌字符識(shí)別部，存儲(chǔ)有預(yù)先訓(xùn)練完成的端到端的車(chē)牌識(shí)別卷積神經(jīng)模型，用于對(duì)所述車(chē)牌圖像集進(jìn)行字符識(shí)別從而得到所述車(chē)牌的字符識(shí)別結(jié)果，

所述YOLOv3車(chē)牌檢測(cè)模型根據(jù)所述步驟S2～所述步驟S5構(gòu)建得到。