[發明專利]基于多任務級聯卷積神經網絡的車牌檢測方法

有效

• 申請號: 201910316667.5
• 申請日: 2019-04-19
• 公開（公告）號: CN110033002B
• 公開（公告）日: 2022-07-08
• 發明（設計）人: 郭文忠;丁寧;柯逍
• 申請（專利權）人: 福州大學
• 主分類號: G06V30/146
• 分類號: G06V30/146;G06N3/04;G06N3/08
• 代理公司: 福州元創專利商標代理有限公司 35100
• 代理人: 蔡學俊

1.一種基于多任務級聯卷積神經網絡的車牌檢測方法，其特征在于，包括以下步驟：

步驟S1：采集車輛圖像和車牌圖像數據，并預處理；

步驟S2：構建多任務級聯卷積神經網絡模型；

步驟S3：使用預處理的車輛圖像數據對多任務級聯卷積神經網絡前兩級網絡進行預訓練，使用預處理的車牌圖像數據對多任務級聯卷積神經網絡后一級網絡進行預訓練，得到訓練好的完整的多任務卷積神經網絡模型；

步驟S4：對待檢測原始圖像數據進行resize到不同尺度，構造待檢測圖像金字塔；

步驟S5：將待檢測圖像金字塔輸入到訓練好的多任務級聯卷積神經網絡模型進行車牌檢測；

所述步驟S2具體為：構建由三個網絡構成多任務級聯卷積神經網絡模型，包括第一卷積神經網絡P-net、第二卷積神經網絡R-net、第三卷積神經網絡O-net；

步所述的第一卷積神經網絡P-net，包括：四個卷積層、一個次采樣層、一個softmax回歸層，其中構成順序為：卷積層conv1-次采樣層mp1-卷積層conv2-卷積層conv3-卷積層conv4-回歸層softmax；

所述第二卷積神經網絡R-net，包括：三個卷積層、二個次采樣層、二個全連接層、一個softmax回歸層；其中構成順序為：卷積層conv1-次采樣層poo1-卷積層conv2-次采樣層pool2-卷積層conv3-全連接層conv4-全連接層conv5-回歸層softmax；

所述第三卷積神經網絡O-net，包括：四個卷積層、三個次采樣層、二個全連接層、一個softmax回歸層；其中構成順序為：卷積層conv1-次采樣層poo1-卷積層conv2-次采樣層pool2-卷積層conv3-次采樣層pool3-卷積層conv4-全連接層conv5-全連接層conv6-回歸層softmax；

其中卷積層采用結合BN層的卷積層，激勵函數使用的Relu激勵函數，并對噪聲信號和信息信號進行分離，損失函數采用多任務損失函數結合，由三部分組成，其中車牌分類損失函數采用交叉熵損失函數，車牌預測框回歸損失函數采用平方損失函數，車牌關鍵點回歸損失函數采用平方損失函數

所述多任務損失函數具體為：

車牌分類損失函數公式為:

其中車牌分類損失函數為交叉熵損失函數，p_i為是車牌的概率，為非車牌的背景標簽；

車牌預測框回歸損失函數公式為:

其中車牌預測框回歸損失函數是計算網絡預測的回歸框坐標和實際真實回歸框坐標的歐式距離，為通過卷積神經網絡預測得到的回歸框坐標，為實際真實的回歸框坐標；值代表(x,y,w,h)，其中x,y為框左上角的坐標值；

車牌關鍵點定位損失函數為:

其中關鍵點定位損失函數是計算網絡預測的角點坐標和實際真實角點坐標的歐式距離，為通過卷積神經網絡預測得到的角點坐標，為實際真實的角點坐標，由于車牌角點坐標一共4個點，每個點2個坐標，故屬于八元組；

多任務損失函數由以上三部分構成，整個損失函數公式為:

其中α_i為任務的重要程度，β_i^j為{0，1}的指示器；其中多任務第一神經網絡P-net的α_j值分別為α_det＝1,α_box＝0.5,α_landmark＝0.3，第二多任務卷積神經網絡R-net的α_j值分別為α_det＝1,α_box＝0.5,α_landmark＝0.5,第三多任務卷積神經網絡O-net的α_j值分別為α_det＝1,α_box＝0.5,α_landmark＝1；

所述步驟S5具體為：

步驟S51：將待檢測圖像金字塔輸入到多任務級聯卷積神經網絡模型P-net網絡中，獲取候選車牌窗口和邊界框回歸向量，用邊界框回歸向量校準候選車牌窗口，之后采用非極大值抑制合并候選車牌窗口，排除非感興趣的背景圖像；

步驟S52：將多任務級聯卷積神經網絡模型P-net網絡輸出的候選車牌窗口輸入到訓練好的多任務級聯卷積神經網絡模型R-net網絡；對候選車牌圖像進行精確的提取，過濾錯誤候選車牌窗口，用邊界框回歸校準候選車牌窗口，之后再采用非極大值抑制合并候選車牌窗口，排除不存在車牌區域的圖像；

步驟S53：將多任務級聯卷積神經網絡模型R-net網絡輸出的候選車牌窗口輸入到訓練好的多任務級聯卷積神經網絡模型O-net網絡，對候選車牌圖像進行進一步精準提取，并標記出車牌圖像中的四個關鍵點信息。