[發(fā)明專利]一種車牌檢測和識別方法

有效

• 申請?zhí)枺?/td>: 202111339113.0
• 申請日: 2021-11-12
• 公開（公告）號: CN113989794B
• 公開（公告）日: 2022-08-02
• 發(fā)明（設(shè)計）人: 唐自興;姚顧肖;劉星;馬夢雪;孟濤;楊運紅;楊亮亮;江發(fā)欽
• 申請（專利權(quán)）人: 珠海安聯(lián)銳視科技股份有限公司
• 主分類號: G06V20/62
• 分類號: G06V20/62;G06V10/44;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廣州瑞之凡知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44514
• 代理人: 廖夏林

本發(fā)明提供了一種車牌檢測和識別方法，具體包括：車牌數(shù)據(jù)集的收集、車牌檢測模型訓(xùn)練、車牌識別模型訓(xùn)練、車牌檢測和識別等步驟。本車牌檢測和識別方法利用訓(xùn)練好的模型對各種場景的數(shù)據(jù)進行檢測，使用單階段的網(wǎng)絡(luò)進行檢測并增加關(guān)鍵點檢測的分支，可以減少計算步驟，在實際應(yīng)用過程中也可以減少多個步驟摳圖縮放操作所消耗的時間，同時提高了車牌檢測和識別對場景的適應(yīng)能力，針對車牌識別要么步驟多以及對國外車牌識別效果不好的情況，本發(fā)明使用目標檢測的方法來進行車牌的字符識別，不需要分割直接檢測所有字符的位置和類別信息，以及對應(yīng)的自適應(yīng)車牌矯正方法，可以解決多行字符車牌的矯正。

技術(shù)領(lǐng)域

本發(fā)明涉及車牌檢測技術(shù)領(lǐng)域，具體涉及一種車牌檢測和識別方法。

背景技術(shù)

基于深度學(xué)習(xí)技術(shù)的發(fā)展，圖像檢測和識別在監(jiān)控攝像頭領(lǐng)域有著廣泛的應(yīng)用，其中基于攝像頭的車牌檢測和識別技術(shù)，也得到廣泛的應(yīng)用，如停車場的自動化管理，高速路口車輛的檢索等。

現(xiàn)有車牌檢測技術(shù)，為了要對車牌進行矯正，需要對關(guān)鍵點檢測或者矯正信息進行檢測，關(guān)鍵點檢測通常使用MTCNN(Multi-task convolutional neural network，多任務(wù)卷積神經(jīng)網(wǎng)絡(luò))的方法進行檢測得到關(guān)鍵點，車牌識別算法，要么對車牌字符進行分割，然后通過分類網(wǎng)絡(luò)對字符進行分類識別，要么通過字符識別OCR(Optical CharacterRecognition，光學(xué)字符識別)方法對單行的車牌進行識別。但是，通過MTCNN算法進行車牌的檢測以及關(guān)鍵點的檢測，步驟比較多需要在O層才能提取到關(guān)鍵點，這樣不利于板端的應(yīng)用，需要多次的扣取圖片使用多個網(wǎng)絡(luò)進行推演，以及多次進行候選框的篩選。而通過字符分割的方法進行車牌識別，對于分割的方法由于存在分割的步驟受到光線氣候的各種因素，有可能存在字符分割錯誤的情況導(dǎo)致最終識別錯誤，而導(dǎo)致識別效果較差。以及還有通過OCR的方法進行字符識別，這種方法對于國外車牌識別效果較差，因為國外車牌存在多行字符的情況。

發(fā)明內(nèi)容

針對現(xiàn)有技術(shù)的不足，本發(fā)明提出了一種車牌檢測和識別方法，利用訓(xùn)練好的模型對各種場景的數(shù)據(jù)進行檢測，并增加關(guān)鍵點檢測的分支，可以減少計算步驟，在實際應(yīng)用過程中也可以減少多個步驟摳圖縮放操作所消耗的時間，同時提高了車牌檢測和識別對場景的適應(yīng)能力。

為實現(xiàn)上述技術(shù)方案，本發(fā)明提供了一種車牌檢測和識別方法，具體包括如下步驟：

S1、車牌數(shù)據(jù)集的收集：通過在互聯(lián)網(wǎng)上相應(yīng)的車輛網(wǎng)站上進行爬取數(shù)據(jù)，以及通過一些已有的大型數(shù)據(jù)集中進行篩選包含車牌的圖片，手工標注一部分數(shù)據(jù)，用手工標注數(shù)據(jù)的圖片進行模型訓(xùn)練，用訓(xùn)練好的模型去檢測未標注的數(shù)據(jù)，得到未標注數(shù)據(jù)標簽，人工再去糾正模型標注的這部分標簽，添加新的數(shù)據(jù)集到以往數(shù)據(jù)集中，再次訓(xùn)練模型，不斷的循環(huán)；

S2、車牌檢測模型訓(xùn)練：基于yolov5框架對車牌檢測進行訓(xùn)練，并在yolov5目標檢測的基礎(chǔ)上增加4個關(guān)鍵點檢測的分支，4個關(guān)鍵點分別為車牌的4個頂點，同時增加相對應(yīng)的loss函數(shù)，用于對關(guān)鍵點進行回歸訓(xùn)；

S3、車牌識別模型訓(xùn)練：通過目標檢測算法來對車牌中的字符進行識別，使用圖像預(yù)處理操作，對車牌識別進行概率的高斯模糊處理，并將不包含車輛的大型數(shù)據(jù)集中隨機圖片作為車牌的背景圖片，訓(xùn)練時將車牌圖片貼到背景圖片上以形成送入網(wǎng)絡(luò)結(jié)構(gòu)的數(shù)據(jù)；

S4、車牌檢測和識別：對車牌進行檢測，將檢測的圖片進行扣取抓圖，然后對車牌使用關(guān)鍵點進行矯正得到矯正后車牌，最后通過車牌識別模型對矯正后的圖片進行檢測得到字符目標位置，對字符目標位置進行排序處理實現(xiàn)車牌識別。

優(yōu)選的，所述步驟S4具體包括如下步驟：