[發明專利]一種基于Mask-RCNN的非機動車車牌識別方法及系統

在審

• 申請號: 202110378119.2
• 申請日: 2021-04-08
• 公開（公告）號: CN113128500A
• 公開（公告）日: 2021-07-16
• 發明（設計）人: 孔祥杰;夏鋒;侯明良;郝欣宇;陳橋;沈國江
• 申請（專利權）人: 浙江工業大學
• 主分類號: G06K9/32
• 分類號: G06K9/32;G06K9/34;G06K9/38;G06N3/04;G06N3/08
• 代理公司: 杭州天正專利事務所有限公司 33201
• 代理人: 王兵

一種基于Mask?RCNN的非機動車車牌識別方法，基于卷積神經網絡(Mask?RCNN)來實現車牌的精確定位，進行傾斜校正、二值化后采用垂直投影法分割車牌字符，用卷積神經網絡來實現字符識別，識別準確率比采用傳統計算機圖像處理的車牌識別方法高。本發明還包括實施上述一種基于Mask?RCNN的非機動車車牌識別方法的系統。上述基于卷積神經網絡(Mask?RCNN)的非機動車車牌識別方法，在復雜場景，如光照較強、圖像分辨率不佳的條件下也能有較高的識別率，極大地提高了非機動車車牌識別系統的魯棒性。

技術領域

本發明涉及計算機圖像處理、深度學習、智能交通領域，尤其涉及一種基于Mask-RCNN的非機動車車牌識別方法及系統。

背景技術

隨著時代的發展，全社會非機動車保有量正在逐年增加，出于安全、合理分配資源等方面的考慮，對于獲取非機動車車輛信息的需求日漸增長；車輛牌照，被視為車輛的“身份證”，通常在獲取牌照信息的基礎上就很容易得到該車輛的其他信息。因此，牌照信息在交通系統中對于車輛信息的識別起到非常重要的作用。然而，隨著非機動車保有量與日俱增，曾經單純依靠人工完成的車牌信息識別、記錄以其勞動強度大、工作效率低等劣勢很難達到當今社會對于高質量、高效率的要求；同時，近幾年的計算機技術發展迅猛。于是，非機動車牌照的自動識別技術日益受到重視。

非機動車車牌識別技術是一個基于計算機圖像處理的綜合性集成技術，其處理流程包括非機動車車牌圖像定位、非機動車車牌字符識別兩個主要的功能模塊。非機動車車牌圖像定位主題任務是從拍攝的非機動車車輛圖像中定位到車牌所在的位置，并在把車牌準確的提取出來，供后續的非機動車車牌字符識別使用。車牌圖像的準確定位是車牌字符識別的前提和基礎，是非機動車車牌識別技術首先要解決的關鍵問題。

然而，目前基于傳統圖像處理的非機動車車牌識別技術雖然在簡單的場景下可以很好地運轉，但是在開放、復雜的場景下，現有的算法就難以取得比較理想的車牌檢測和識別效果。在開放的場景下，主要的困難在于自然場景中的文本干擾(如廣告牌、道路指示牌等)以及隨機的拍攝條件(如不同的光照、扭曲、遮擋、模糊等)等。

發明內容

本發明要克服現有技術的上述缺點，提供一種基于卷積神經網絡(Mask-RCNN)的非機動車車牌識別方法及系統，來解決在復雜場景下非機動車車牌識別面臨的上述困難。

本發明采用以下技術方案：

一種基于卷積神經網絡(Mask-RCNN)的非機動車車牌識別方法，包括如下步驟：

S1：訓練基于卷積神經網絡(Mask-RCNN)的非機動車車牌定位網絡；

S2：利用S1所述的非機動車車牌定位網絡在拍攝到的圖片中檢測非機動車車牌圖像區域，獲取一些疑似非機動車車牌的圖像及相應位置坐標；

S3：對S2獲得的疑似非機動車車牌圖像進行精確篩選，完成車牌圖像的精確定位；

S4：對S3所述精確篩選后獲得的非機動車車牌圖像進行傾斜矯正，以便后續非機動車車牌字符識別使用，本發明采用Hough變換法提取傾斜車牌的傾斜角度，并完成車牌圖像旋轉；

S5：對S4所述完成傾斜矯正的車牌圖像進行字符分割；

S6：訓練一種基于BP神經網絡的字符識別方法，并采用訓練好的識別模型對S5所述分割后的車牌字符進行識別。

一種基于卷積神經網絡(Mask-RCNN)的非機動車車牌識別系統，包括：車牌檢測定位模塊：訓練基于卷積神經網絡(Mask-RCNN)的非機動車車牌定位模型，來對拍攝的圖像進行非機動車車牌區域定位；