[發明專利]一種基于Mask-RCNN的非機動車車牌識別方法及系統

在審

• 申請號: 202110378119.2
• 申請日: 2021-04-08
• 公開（公告）號: CN113128500A
• 公開（公告）日: 2021-07-16
• 發明（設計）人: 孔祥杰;夏鋒;侯明良;郝欣宇;陳橋;沈國江
• 申請（專利權）人: 浙江工業大學
• 主分類號: G06K9/32
• 分類號: G06K9/32;G06K9/34;G06K9/38;G06N3/04;G06N3/08
• 代理公司: 杭州天正專利事務所有限公司 33201
• 代理人: 王兵

1.一種基于Mask-RCNN的非機動車車牌識別方法，其特征在于：包括以下步驟：

S1：訓練基于卷積神經網絡(Mask-RCNN)的非機動車車牌檢測模型；

S2：利用S1所述的檢測模型在拍攝到的圖片中檢測非機動車車牌圖像區域，獲取一些疑似非機動車車牌的圖像及相應位置坐標；

S3：對S2獲得的疑似非機動車車牌圖像進行精確篩選，完成車牌圖像的精確定位；

S4：對S3所述非機動車車牌圖像進行傾斜矯正，以便后續非機動車車牌字符識別使用，本發明采用Hough變換法提取傾斜車牌的傾斜角度，并完成車牌圖像旋轉；

S5：對S4所述完成傾斜矯正的車牌圖像進行字符分割，并完成字符圖像的歸一化；

S6：采用基于BP神經網絡的字符識別方法對S5所述歸一化后的字符圖像進行識別。

2.如權利要求1所述的一種基于Mask-RCNN的非機動車車牌識別方法，其特征在于：步驟S1具體包括：

S1.1：訓練數據集收集：用于訓練的數據集主要來自兩個途徑，一部分是從網絡上獲取，還有一部分來自街頭實地拍攝，獲取的數據集總數為3200張包含非機動車車牌的圖像；

S1.2：數據增強：S1.1所述的樣本數量對于深度學習需求的數據量來說依然不足，而數據量不足容易導致過擬合，為了解決該問題，需要對所獲得的圖像樣本數據進行數據增強，數據增強的好處是彌補數據量不足的同時還能防止過擬合和提高模型的泛化能力，對S1.1所述的樣本進行數據增強后，原有的3200張包含非機動車車牌的圖像增加到6500張；

S1.3：對S1.2獲取的數據集進行標注，獲取車牌圖像在原始圖像數據中的位置，包括如下步驟：

S1.3.1：數據集預處理，所述預處理包括：去除無效數據、將數據集圖片分辨率大小統一設置為1280*960；

S1.3.2：本發明采用標框標注，即框選出要檢測的非機動車車牌對象，獲得四個頂點的坐標；

S1.3.3：按照8:1:1的比例將S1.3.2標注好的數據集劃分為訓練集、驗證集與測試集；

S1.4：采用Mask-RCNN的卷積神經網絡結構在S1.3.3分割好的數據集上進行訓練，獲得一個在拍攝到的圖像中檢測非機動車車牌圖像區域的檢測模型。

3.如權利要求12所述的一種基于Mask-RCNN的非機動車車牌識別方法，其特征在于：所述步驟S1.2中樣本數據增強，包括如下步驟：

S1.2.1：尺度變換：對S1.1所獲取的數據進行高斯濾波，改變圖像的模糊程度，以此增加樣本數據規模；

S1.2.2：位置變換：對S1.1所獲取的數據樣本進行位置變換包括三種不同的策略，即平移、旋轉和翻轉變換，對每一張樣本圖片將隨機采取一種策略進行數據增強；

圖像平移指對圖像內容進行平移，采用隨機設定的方式，設置平移方向與平移步長等參數；圖像旋轉指對圖像內容進行一定角度的旋轉，改變圖像內容的朝向；圖像翻轉指沿著水平或者垂直方向翻轉圖像；

S1.2.3：對比度、飽和度變換：首先將樣本圖片由RGB顏色空間轉換到HSV顏色空間；其次，保持色調分量(H)不變，改變飽和度分量(S)和亮度分量(V)。

所述步驟S1.2.3中顏色空間的轉換，具體的計算公式如下：

R'＝R/255G'＝G/255B'＝B/255

其中：R、G、B為圖片顏色分量；

C_max＝max(R',G',B')C_min＝min(R',G',B')

Δ＝C_max-C_min

HSV顏色分量計算：

V＝C_max

4.如權利要求1所述的一種基于Mask-RCNN的非機動車車牌識別方法，其特征在于：步驟S3具體包括：

S3.1：非機動車車牌寬高比在2.5～7.5之間，按照這個比例先對步驟S2所述圖像做一個區域粗篩選，剔除掉一些過大或者過小的區域；

S3.2：采用支持向量機(Support Vector Machine，SVM)分類器，對候選車牌進行精確篩選，輸出最終的候選非機動車車牌圖像。