[發明專利]一種基于動態時序卷積神經網絡的車牌識別方法

有效

• 申請號: 201810132849.2
• 申請日: 2018-02-09
• 公開（公告）號: CN108388896B
• 公開（公告）日: 2021-06-22
• 發明（設計）人: 龐星
• 申請（專利權）人: 杭州雄邁集成電路技術股份有限公司
• 主分類號: G06K9/32
• 分類號: G06K9/32;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 浙江納祺律師事務所 33257
• 代理人: 鄭滿玉

1.一種基于動態時序卷積神經網絡的車牌識別方法，其特征在于，包括以下步驟：

讀取原始車牌圖像；

進行圖像預處理，車牌角度矯正，獲得待確定識別的車牌圖像；

將上述車牌圖像輸入到預先設計和訓練好的卷積神經網絡中，獲得具備車牌所有特征的特征圖像和時序信息；

進行字符識別，將特征圖像和時序信息輸入到基于動態時序的長短期記憶神經網絡層中，得到分類結果，利用CTC算法解碼得到最后的車牌字符結果；

預先設計和訓練好的卷積神經網絡包括以下步驟：

步驟1)：構建基于動態時序的卷積神經網絡，卷積神經網絡設計為8層結構，包括1個輸入層、4個用于特征提取的卷積層、2個用于特征優化選取的池化層，1個長短期記憶神經網絡層；

步驟2)：初始化后，采用隨機梯度下降法對卷積神經網絡進行迭代訓練，每迭代一次計算一次損失函數的值，以獲得網絡結構中各權重值W和偏置值b的最優解，迭代多次后得到本次訓練的最優卷積神經網絡；所述卷積神經網絡的訓練方法包括如下步驟：

收集樣本圖像集，樣本圖像中包括不同長寬比的圖像；將樣本圖像集中的圖像進行矯正預處理，矯正車牌到水平位置；將預處理后的樣本圖像集中的圖像補全圖像寬度至144個像素，圖像中的原始寬度范圍內的像素灰度值不變，增加部分的圖像灰度值設定為0；從補全后的樣本圖像集中抽取100張圖像，組成小樣本集，輸入到初始卷積神經網絡中，初始各權重值W和偏置值b隨機設定，進行前向傳播，獲得該小樣本圖像集每一張車牌圖像對應的最后一層卷積層，該卷積層的特征向量中，實際特征寬度由圖像原始寬度決定，實際特征寬度為長短期記憶神經網絡層中的動態時序，增加一層與特征圖像大小一樣的掩碼層，實際特征寬度范圍內的值為1，由補全部分獲得區域掩碼層對應的區域上的值為0，掩碼層作為標記，實際特征寬度范圍內的值帶入計算，補全部分獲得的特征不帶入計算；將處理后的卷積層特征向量輸入到長短期記憶神經網絡層，得到字符分類結果；計算該小樣本圖像集每一張車牌圖像對應的字符分類結果置信度與標定的字符分類結果置信度之差，得到卷積神經網絡最后一層長短期記憶神經網絡層的損失函數的值；將初始卷積神經網絡最后一層的損失函數的值進行反向傳播，更新每一層的權重值W和偏置值b；重復從補全后的樣本圖像集中抽取另外的100張圖像，輸入到更新權重值W和偏置值b后的卷積神經網絡中，進行前行傳播，獲得該樣本圖像對應的字符分類結果的步驟，直到該小樣本圖像集與對應的標定字符分類結果具有相同的擬合結果，獲得訓練后的卷積神經網絡。

2.如權利要求1所述的一種基于動態時序卷積神經網絡的車牌識別方法，其特征在于，所述車牌角度矯正方法包括以下步驟：

步驟1)：通過canny算子提取車牌圖像的邊緣，分別統計水平方向上和垂直方向上邊緣點的個數，得到基于水平和垂直方向上的邊緣點投影直方圖；

步驟2)：根據邊緣點投影直方圖，確定車牌圖像中字符起始和結束位置，起始與結束位置的差值與車牌左右邊界點的差值求余弦，獲得車牌水平方向上的傾斜角度，從而在水平方向上矯正車牌，再做垂直方向上的矯正，獲得矯正完的車牌。

3.如權利要求1所述的一種基于動態時序卷積神經網絡的車牌識別方法，其特征在于，所述的字符識別方法包括：

將最后一層卷積層的特征圖像分層與長短期記憶神經網絡層中的輸入層權重矩陣相乘，并將對應輸入層的數據進行累加，得到對應的輸入特征向量；

將輸入特征向量輸入到長短期記憶神經網絡層的單元處理器中，通過tanh函數激活得到第一個時序對應的細胞記憶向量和隱藏向量；細胞記憶向量與長短期記憶神經網絡層中內置權重矩陣相乘，并將數據對應累加，得到內置特征向量；

將內置特征向量輸入到長短期記憶神經網絡層的單元處理器中，獲得第二個時序對應的細胞記憶向量和隱藏向量；同樣的方法得到對應于動態時序的隱藏向量；

將所有的隱藏向量與對應于動態時序的分類權重矩陣相乘，并將所有時序的向量乘積對應累加，獲得分類特征向量。

4.如權利要求1所述的一種基于動態時序卷積神經網絡的車牌識別方法，其特征在于，所述的CTC解碼算法包括：

比較每一個時序下的70類分類類別的置信度，選取最大值對應的分類類別下標作為解碼結果，合并前后連續相同的字符成唯一一個字符，刪除字符為空格的解碼結果，得到最后的字符識別結果。