[發明專利]基于多任務級聯卷積神經網絡的車牌檢測方法

有效

• 申請號: 201910316667.5
• 申請日: 2019-04-19
• 公開（公告）號: CN110033002B
• 公開（公告）日: 2022-07-08
• 發明（設計）人: 郭文忠;丁寧;柯逍
• 申請（專利權）人: 福州大學
• 主分類號: G06V30/146
• 分類號: G06V30/146;G06N3/04;G06N3/08
• 代理公司: 福州元創專利商標代理有限公司 35100
• 代理人: 蔡學俊

本發明涉及一種基于多任務級聯卷積神經網絡的車牌檢測方法。針對傳統的車牌檢測方法可擴展性差，泛化能力差，車牌檢測效果不佳造成的車牌識別率下降等問題提出了一種多任務級聯卷積神經網絡的車牌檢測方法。為了獲得復雜圖像中車牌精確定位，該方法通過搭建一種新的多任務級聯卷積神經網絡模型再CCPD車輛數據上進行大規模訓練，其中本發明的網絡模型的卷積層采用和BN層相結合的方法來提高對車牌的特征提取能力，加快模型訓練速度，使用Relu激活函數增加模型的非線性能力，采用多任務損失函數來提高網絡對車牌的分類和回歸框準確性，并且回歸反饋出車牌的四個關鍵點信息。最后將訓練好的模型應用于車牌檢測中。該方法簡單靈活，具有較強的實際應用性。

技術領域

本發明涉及涉及模式識別與計算機視覺領域，具體涉及一種基于多任務級聯卷積神經網絡的車牌檢測方法。

背景技術

隨著公共交通系統的快速發展，智能技術再許多應用中發揮著越來越重要的作用。其中，最為突出的要數視頻監控、模式識別、圖像處理和自動檢測技術，這些技術也越來越受到人們的關注。在我們生活周圍，汽車隨處可見，已經大眾普遍化，成為人們最重要的出行工具。眾所周知，每輛汽車都配有唯一的“身份”證件，也就是所謂的車輛的車牌信息。在高效的進行車牌管理中，自動收集并自動識別大量車牌信息是極其關鍵的環節。因此建立車牌信息的識別和處理系統，已經成為現代社會迫不及待的需求。

傳統的車牌檢測方法主要有基于邊緣的檢測方法、基于顏色的檢測方法、基于紋理的檢測方法、基于字符的檢測方法，其中基于邊緣的檢測方法對復雜場景下的類似邊緣較為敏感，檢測車牌率低；基于顏色的檢測方法會受到光照強度方面的影響；基于紋理的檢測方法由于時間復雜度較高，無法滿足車牌檢測的實時性；基于字符的方法由于復雜場景可能存在其他字符而檢測有誤。此外上述的方法很難滿足大數據量的車牌檢測需求，因此所取得的檢測效果不令人滿意，有待進一步提高。

發明內容

有鑒于此，本發明的目的在于提供一種基于多任務級聯卷積神經網絡的車牌檢測方法，解決針對基于復雜場景下全球眼視頻監控道路中車牌檢測定位的問題。

為實現上述目的，本發明采用如下技術方案：

一種基于多任務級聯卷積神經網絡的車牌檢測方法，包括以下步驟：

步驟S1：采集車輛圖像和車牌圖像數據，并預處理；

步驟S2：構建多任務級聯卷積神經網絡模型；

步驟S3：使用預處理的車輛圖像數據對多任務級聯卷積神經網絡前兩級網絡進行預訓練，使用預處理的車牌圖像數據對多任務級聯卷積神經網絡后一級玩過進行預訓練，得到訓練好的完整的多任務卷積神經網絡模型；

步驟S4：對待檢測原始圖像數據進行resize到不同尺度，構造待檢測圖像金字塔；

步驟S5：將待檢測圖像金字塔輸入到訓練好的多任務級聯卷積神經網絡模型進行車牌檢測。

進一步的，所述車輛圖像和車牌圖像數據采集基于CCPD車輛數據庫。

進一步的，所述步驟S2具體為：構建由三個網絡構成多任務級聯卷積神經網絡模型，包括第一卷積神經網絡P-net、第二卷積神經網絡R-net、第三卷積神經網絡O-net。

進一步的，所述的第一卷積神經網絡P-net，包括：四個卷積層、一個次采樣層、一個softmax回歸層，其中構成順序為：卷積層conv1-次采樣層mp1-卷積層conv2-卷積層conv3-卷積層conv4-回歸層softmax；其中卷積層采用結合 BN層的卷積層來優化網絡收斂速度，激勵函數使用的Relu激勵函數來增加非線性，并對噪聲信號和信息信號進行了有效的分離，損失函數采用多任務損失函數結合，由兩部分組成，其中車牌分類損失函數采用交叉熵損失函數，車牌預測框回歸損失函數采用平方損失函數；