[發明專利]一種基于卷積神經網絡的多尺度車牌精準定位方法

有效

• 申請號: 201710792262.X
• 申請日: 2017-09-05
• 公開（公告）號: CN107506763B
• 公開（公告）日: 2020-12-01
• 發明（設計）人: 姚劍;韓婧;趙嬌;劉亞輝;李禮
• 申請（專利權）人: 武漢大學
• 主分類號: G06K9/32
• 分類號: G06K9/32;G06N3/08
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 魏波

1.一種基于卷積神經網絡的多尺度車牌精準定位方法，其特征在于，包括以下步驟：

步驟1：構建卷積神經網絡對輸入圖像進行特征提取；

使用5個卷積層對輸入圖像進行特征提取，每個卷積層后設置一個線性糾正單元ReLU層對信號進行激活，從而向網絡中引入非線性因素；前4個線性糾正單元ReLU層后設置池化層進行最大值池化；

步驟2：基于多尺度特征對輸入圖像中可能包含車牌的區域位置進行提取；

步驟2.1：使用滑動窗口，對卷積神經網絡不同層次上的特征進行提取與融合；

步驟2.2：對每個融合特征矢量所對應的輸入圖像區域參照若干具有不同尺度和長寬比的錨點，得到具有不同尺度和長寬比組合的初始車牌候選區域；

步驟2.3：基于融合的特征矢量對每個區域進行分類識別，保留含車牌概率最大的N個區域作為目標候選區域，并使用回歸器對區域的位置進行調整；

步驟3：基于多尺度特征對真正的車牌區域進行識別和精準定位；

步驟3的具體實現包括以下子步驟：

步驟3.1：將提取的車牌候選區域映射到不同層次的特征圖上，通過可變大小的池化操作得到固定維度的特征矢量；

步驟3.2：對不同層次上的特征進行融合；

步驟3.3：基于融合的特征矢量對車牌候選區域進行分類識別，篩選真正的車牌區域，并利用回歸器和對稱性約束對車牌的角點進行檢測和推斷，從而得到能精確覆蓋車牌實際區域的四邊形；

其中，利用回歸器首先檢測車牌的三個角點，左上角點右上角點左下角點然后利用車牌結構的對稱性約束按如下公式求解車牌的右下角點

基于四個角點的坐標，得到精確覆蓋車牌實際區域的四邊形。

2.根據權利要求1所述的基于卷積神經網絡的多尺度車牌精準定位方法，其特征在于：步驟2.1中，使用3×3的窗口在卷積神經網絡所構建的特征映射圖上滑動，同時在第五個卷積層和第四個卷積層對應的特征映射圖上進行搜索，從每個位置提取512維的特征矢量，并對兩個層次上的特征矢量進行融合。

3.根據權利要求1所述的基于卷積神經網絡的多尺度車牌精準定位方法，其特征在于：步驟2.2中，對每個融合特征矢量所對應的輸入圖像區域參照9種具有不同尺度和長寬比的錨點，包括128×128、256×256、512×512三種尺度，0.4、0.5、0.6三種長寬比。

4.根據權利要求1所述的基于卷積神經網絡的多尺度車牌精準定位方法，其特征在于：步驟2.3中，使用分類器判定各個區域的類別，類別包括車牌、背景，使用回歸器對區域的位置進行調整；將被分類器判定為車牌得分最高的300個區域作為最終的車牌候選區域，進行更進一步的車牌識別和精準定位。

5.根據權利要求1所述的基于卷積神經網絡的多尺度車牌精準定位方法，其特征在于：步驟3.1中，將提取的車牌候選區域同時映射到第四個卷積層和第五個卷積層對應的特征圖上，經過可變大小的池化操作，對每個候選區域提取兩個7×7維度的特征矢量。

6.根據權利要求1所述的基于卷積神經網絡的多尺度車牌精準定位方法，其特征在于：步驟3.2中，對基于第四個卷積層和第五個卷積層所提取到的兩個特征矢量進行融合，從而得到既具有強語義性又具備高分辨率的特征。