[發(fā)明專(zhuān)利]一種車(chē)牌檢測(cè)和識(shí)別方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202111339113.0
• 申請(qǐng)日: 2021-11-12
• 公開(kāi)（公告）號(hào): CN113989794B
• 公開(kāi)（公告）日: 2022-08-02
• 發(fā)明（設(shè)計(jì)）人: 唐自興;姚顧肖;劉星;馬夢(mèng)雪;孟濤;楊運(yùn)紅;楊亮亮;江發(fā)欽
• 申請(qǐng)（專(zhuān)利權(quán)）人: 珠海安聯(lián)銳視科技股份有限公司
• 主分類(lèi)號(hào): G06V20/62
• 分類(lèi)號(hào): G06V20/62;G06V10/44;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廣州瑞之凡知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44514
• 代理人: 廖夏林

1.一種車(chē)牌檢測(cè)和識(shí)別方法，其特征在于具體包括如下步驟：

S1、車(chē)牌數(shù)據(jù)集的收集：通過(guò)在互聯(lián)網(wǎng)上相應(yīng)的車(chē)輛網(wǎng)站上進(jìn)行爬取數(shù)據(jù)，以及通過(guò)一些已有的大型數(shù)據(jù)集中進(jìn)行篩選包含車(chē)牌的圖片，手工標(biāo)注一部分?jǐn)?shù)據(jù)，用手工標(biāo)注數(shù)據(jù)的圖片進(jìn)行模型訓(xùn)練，用訓(xùn)練好的模型去檢測(cè)未標(biāo)注的數(shù)據(jù)，得到未標(biāo)注數(shù)據(jù)標(biāo)簽，人工再去糾正模型標(biāo)注的這部分標(biāo)簽，添加新的數(shù)據(jù)集到以往數(shù)據(jù)集中，再次訓(xùn)練模型，不斷的循環(huán)；

S2、車(chē)牌檢測(cè)模型訓(xùn)練：基于yolov5框架對(duì)車(chē)牌檢測(cè)進(jìn)行訓(xùn)練，并在yolov5目標(biāo)檢測(cè)的基礎(chǔ)上增加4個(gè)關(guān)鍵點(diǎn)檢測(cè)的分支，4個(gè)關(guān)鍵點(diǎn)分別為車(chē)牌的4個(gè)頂點(diǎn)，同時(shí)增加相對(duì)應(yīng)的loss函數(shù)，用于對(duì)關(guān)鍵點(diǎn)進(jìn)行回歸訓(xùn)；

S3、車(chē)牌識(shí)別模型訓(xùn)練：通過(guò)目標(biāo)檢測(cè)算法來(lái)對(duì)車(chē)牌中的字符進(jìn)行識(shí)別，使用圖像預(yù)處理操作，對(duì)車(chē)牌識(shí)別進(jìn)行概率的高斯模糊處理，并將步驟S1中收集的車(chē)牌數(shù)據(jù)集中隨機(jī)圖片作為車(chē)牌的背景圖片，訓(xùn)練時(shí)將車(chē)牌圖片貼到背景圖片上以形成送入網(wǎng)絡(luò)結(jié)構(gòu)的數(shù)據(jù)；

S4、車(chē)牌檢測(cè)和識(shí)別：對(duì)車(chē)牌進(jìn)行檢測(cè)，將檢測(cè)的圖片進(jìn)行扣取抓圖，然后對(duì)車(chē)牌使用關(guān)鍵點(diǎn)進(jìn)行矯正得到矯正后車(chē)牌，最后通過(guò)車(chē)牌識(shí)別模型對(duì)矯正后的圖片進(jìn)行檢測(cè)得到字符目標(biāo)位置，對(duì)字符目標(biāo)位置進(jìn)行排序處理實(shí)現(xiàn)車(chē)牌識(shí)別；具體包括如下步驟：

S41、車(chē)牌檢測(cè)：從視頻流中獲取原始數(shù)據(jù)為yuv格式，將yuv數(shù)據(jù)轉(zhuǎn)換和縮放為AI運(yùn)算模塊支持的格式以及尺寸，并輸入至步驟S2和S3中訓(xùn)練好的車(chē)牌檢測(cè)模型和車(chē)牌識(shí)別模型，使用運(yùn)算模塊進(jìn)行運(yùn)算得到模型的輸出特征，對(duì)輸出的特征進(jìn)行后處理，得到車(chē)牌的置信度、位置信息和關(guān)鍵點(diǎn)信息，利用跟蹤算法對(duì)檢測(cè)到的車(chē)牌位置信息進(jìn)行跟蹤，對(duì)于連續(xù)的幀進(jìn)行處理，相同的目標(biāo)形成相同的id，同時(shí)根據(jù)同一個(gè)id下所有目標(biāo)的置信度信息，選擇最優(yōu)的目標(biāo)進(jìn)行抓拍；

S42、車(chē)牌矯正：利用抓拍的圖片以及包括車(chē)牌位置以及關(guān)鍵點(diǎn)信息對(duì)圖片矯正，使用放射變化過(guò)程，矯正原始點(diǎn)為車(chē)牌在抓拍圖片中的位置對(duì)應(yīng)的關(guān)鍵點(diǎn)，使得矯正后的車(chē)牌盡量保持原比例；

S43、車(chē)牌識(shí)別：將矯正好的圖片，進(jìn)行對(duì)應(yīng)的顏色轉(zhuǎn)換，然后將數(shù)據(jù)送入到AI運(yùn)算模塊中，以及對(duì)輸出的特征進(jìn)行后處理操作，得到檢測(cè)的每一個(gè)字符的類(lèi)別信息和位置信息，將類(lèi)別信息與預(yù)先設(shè)置好的字符進(jìn)行對(duì)應(yīng)能夠得到每一個(gè)位置的字符信息，以及對(duì)于車(chē)牌字符依據(jù)位置信息進(jìn)行排序操作，實(shí)現(xiàn)車(chē)牌識(shí)別。

2.如權(quán)利要求1所述的車(chē)牌檢測(cè)和識(shí)別方法，其特征在于，所述步驟S42中，使用放射變化過(guò)程，矯正原始點(diǎn)為車(chē)牌在抓拍圖片中的位置對(duì)應(yīng)的關(guān)鍵點(diǎn)的具體方法為：

S421、設(shè)定車(chē)牌的原始寬高比例和關(guān)鍵點(diǎn)形成的寬高比例相等，則plate_w＝norm(point1-point2)，plate_h＝norm(point1-point3)，其中point1為車(chē)牌左上角點(diǎn)，point2為車(chē)牌右上角點(diǎn)，point3為車(chē)牌左下角點(diǎn)，norm為兩點(diǎn)距離，plate_w為車(chē)牌關(guān)鍵點(diǎn)代表的寬度，plate_h為車(chē)牌關(guān)鍵點(diǎn)代表的高度；

S422、將車(chē)牌矯正為一個(gè)320*160寬高的圖像，當(dāng)plate_w/plate_h2時(shí)矯正為(x0,y0),(x1,y1)兩點(diǎn)形成的矩形，其中(x0,y0)＝(width/2-(height*plate_w/plate_h)/2,0)；(x1,y1)＝(width/2+(height*plate_w/plate_h)/2,height)；當(dāng)plate_w/plate_h＝2時(shí)矯正為(x2,y2)，(x3,y3)兩點(diǎn)形成的矩形，其中(x2,y2)＝(0,height/2-(width*plate_h/plate_w)/2)；(x3,y3)＝(width,height/2+(width*plate_h/plate_w)/2)，其中，width為前面車(chē)牌檢測(cè)抓圖的圖片寬度，height為車(chē)牌檢測(cè)抓圖的圖片高度。

3.如權(quán)利要求1所述的車(chē)牌檢測(cè)和識(shí)別方法，其特征在于，所述步驟S1中車(chē)牌檢測(cè)標(biāo)注使用labelme標(biāo)注工具將車(chē)牌標(biāo)注為1個(gè)box和4個(gè)point，box為車(chē)牌位置的信息，4個(gè)poit為車(chē)牌中4個(gè)關(guān)鍵關(guān)鍵點(diǎn)的位置；車(chē)牌識(shí)別標(biāo)注使用labelimg標(biāo)注工具，標(biāo)注的內(nèi)容為每一個(gè)字符的位置以及對(duì)于的類(lèi)型，總共類(lèi)型為數(shù)字10個(gè)+大寫(xiě)字母26個(gè)＝36個(gè)類(lèi)別。