[發明專利]一種端到端的輕量級深度車牌識別方法

有效

• 申請號: 202010149501.1
• 申請日: 2020-03-06
• 公開（公告）號: CN111401361B
• 公開（公告）日: 2022-09-30
• 發明（設計）人: 茅耀斌;張偉;張浩;韓翊;項文波;曹倩倩;卓一
• 申請（專利權）人: 南京理工大學
• 主分類號: G06V10/20
• 分類號: G06V10/20;G06V10/44;G06V10/774;G06V10/80;G06V10/82;G06N3/04
• 代理公司: 南京理工大學專利中心 32203
• 代理人: 馬魯晉

1.一種端到端的輕量級深度車牌識別方法，其特征在于，所述方法包括以下步驟：

步驟1，采集包含車牌的圖像，構建車牌數據集；

步驟2，構建車牌檢測網絡；具體包括：

步驟2-1，構建第一特征提取模塊，利用該模塊提取車牌數據的特征，生成n個不同尺寸的特征圖；所述構建第一特征提取模塊，具體為：利用基于深度可分離卷積的輕量化模塊作為特征提取的基礎模塊，結合下采樣模塊，構建第一特征提取模塊；

步驟2-2，構建第一特征融合模塊，利用該模塊實現統一步驟2-1所有特征圖的尺寸，對統一尺寸后的所有特征圖進行求和，并利用全局上下文增強模塊進行全局信息增強，獲得第一復合特征圖；

步驟2-3，構建第一解碼模塊，利用該模塊對所述第一復合特征圖進行解碼，解碼后輸出的特征圖通道數為車牌檢測所需的信息長度；其中所述所需的信息包括：車牌角點的坐標與置信度；所述構建第一解碼模塊，具體為：利用基于深度可分離卷積構建的殘差模塊，以及后卷積模塊，構建解碼模塊；

步驟3，獲取車牌區域圖像；

步驟4，構建車牌識別網絡；具體包括：

步驟4-1，構建第二特征提取模塊，利用該模塊提取步驟3獲得的車牌區域圖像的特征，生成n個不同尺寸的特征圖；

步驟4-2，構建第二特征融合模塊，利用該模塊實現統一步驟4-1所有特征圖的尺寸，在通道維度對統一尺寸后的特征圖進行拼接，并利用全局上下文嵌入模塊進行特征增強，獲得第二復合特征圖；所述構建第二特征提取模塊，具體為：利用基于深度可分離卷積的輕量化模塊作為特征提取的基礎模塊，結合并行下采樣模塊，構建第二特征提取模塊；

所述并行下采樣模塊包括：

兩路分支，一路依次使用步長為1的1×1卷積和步長為2的3×3卷積，另一路采用步長為2的2×2最大池化層，兩路的輸出特征在通道維度進行拼接后作為一個1×1卷積單元的輸入；

或兩路分支，一路依次使用步長為1的1×1卷積和步長為(2,1)的3×3卷積，另一路采用步長為(2,1)的3×3最大池化層，兩路的輸出特征在通道維度進行拼接后作為一個1×1卷積單元的輸入；

或兩路分支，一路依次使用步長為1的1×1卷積和步長為(2,1)的5×1卷積，另一路采用步長為(2,1)的3×3平均池化層，兩路輸出特征在通道維度進行拼接后作為一個1×1卷積單元的輸入；

或兩路分支，一路依次使用步長為1的1×1卷積和步長為(4,1)的7×1卷積，另一路采用步長為(4,1)的5×3平均池化層，兩路輸出特征在通道維度進行拼接后作為一個1×1卷積單元的輸入；

步驟4-3，構建第二解碼模塊，利用該模塊對所述第二復合特征圖進行解碼，獲得車牌字符序列；對所述第二復合特征圖進行解碼，具體包括：依次利用分解卷積模塊、平均池化層以及對特征圖第二維度取平均對第二復合特征圖進行處理；

步驟5，將車牌檢測網絡和車牌識別網絡視為整體，對該整體網絡進行端到端訓練；具體包括：

步驟5-1，從步驟3-2獲得的圖像中提取若干圖像輸入至車牌檢測網絡，獲得檢測預測張量T1，T1尺寸為通道數為L1，視為L1個的柵格圖，L1為每個車牌檢測所需的信息長度；

步驟5-2，對檢測預測張量T1進行后置處理獲得檢測結果張量R1，尺寸為C×L1；其中，C表示檢測到的車牌數量；具體過程包括：

步驟5-2-1，對檢測預測張量T1每個位置預測的四個角點置信度取平均，獲得對象得分柵格圖g1；

步驟5-2-2，將g1中的得分進行降序排序，并提取前k項得分；

步驟5-2-3，將前k項得分中小于預設閾值H的得分去除；

步驟5-2-4，對剩余得分項進行非極大值抑制，最終保留下來的項即為檢測結果張量R1；

步驟5-3，將步驟3-4中經過透視矯正后的車牌區域圖像尺寸縮放至車牌識別網絡所需的輸入尺寸a×b，之后將縮放后的車牌區域圖像輸入至車牌識別網絡，獲得識別預測張量T2；

步驟5-4，構建車牌檢測與識別網絡的損失函數L_total；具體包括：

步驟5-4-1，構建檢測網絡的損失函數：

(1)劃分正負樣本區域；

構建一個尺寸與檢測預測張量T1尺寸相同的柵格圖g，將標注的車牌區域角點位置信息投影至柵格圖g中，之后按照FoveaBox的方法，將車牌區域按尺寸大小劃分成三部分：正樣本區域、忽略區域以及負樣本區域；具體地，求取車牌區域的中心，將中心到四個角點的距離乘以收縮因子σ₁，獲得新的四個角點構成的四邊形區域sp，將sp內部作為正樣本區域；重新將中心到四個角點的距離乘以收縮因子σ₂，獲得新的四個角點構成的四邊形區域sn，將sn外部作為負樣本區域；sp與sn之間作為忽略區域；其中，0＜σ₁＜σ₂≤1；這三類樣本區域對應到T1中得到三類區域的數據；

(2)計算正、負樣本區域的整體置信度損失L_conf，所用公式為：

式中，N_pos，N_neg分別代表柵格圖g中正、負樣本的個數，L_Fl為每個樣本的置信度損失，公式如下：

式中，c為預測的對象整體置信度，由一個車牌對象的所有角點置信度得分取平均得到；c_gt為相應的真實置信度；sample代表一個柵格屬于正樣本還是負樣本，1代表正樣本，0代表負樣本；

(3)計算正樣本區域數據中所包含的預測角點坐標的損失L_cor，所用公式為：

式中，L_CG為復合高斯損失，公式如下：

式中，第一項代表角點預測損失，Gscore為對象置信度；第二項代表邊界框距離損失，含義與DIoU損失中的對應項相同，b代表預測的角點位置構成的外接矩形邊界框，b_gt代表標注的角點位置構成的外接矩形邊界框，ρ(b,b_gt)代表兩個邊界框b、b_gt中心點之間的距離，c代表b、b_gt所確定的外接矩形的對角線長度；第三項代表四邊形形狀損失，最后一項代表四個角點置信度的離散度損失，其中：

式中，(w₁,h₁,w₂,h₂)代表檢測出的四個角點中位于左上和右下的兩個角點、右上和左下的兩個角點分別組成的兩個邊界框對應的寬與高，(w₁^gt,h₁^gt,w₂^gt,h₂^gt)代表標注信息中對應的四個角點中位于左上和右下的兩個角點、右上和左下的兩個角點分別組成的兩個邊界框對應的寬與高，Gs_i表示預測的四個角點中第i個角點的置信度得分，Gs_i^gt表示標注的第i個角點的真實置信度得分；

(4)構建檢測網絡的損失函數L_det，所用公式為：

L_det＝L_conf+L_cor

步驟5-4-2，構建識別網絡的損失函數L_ctc：

L_ctc＝-∑_(x,z)∈S lnp(z|x)

式中，x為車牌的標注信息中車牌號碼對應字典d的編碼序列，z為對應字典d的輸出序列，p(z|x)代表在x條件下生成z的概率，S表示訓練集中的數據；字典d由所有車牌字符類別構成；

步驟5-4-3，根據檢測網絡的損失函數和識別網絡的損失函數構建車牌檢測與識別網絡的損失函數L_total為：

L_total＝L_det+λL_ctc

式中，λ為權重因子，取值范圍為(0,1)；

步驟5-5，將T1、T2作為輸入，根據損失函數計算當前損失值，根據當前損失值對車牌檢測與識別網絡進行優化；

步驟5-6，從步驟3-2獲得的圖像中提取若干圖像，重復步驟5-1至步驟5-5，直至達到預設終止條件，結束訓練；

步驟6，利用訓練后的網絡識別待檢測車牌圖像中的車牌；具體過程包括：

步驟6-1，對待檢測車牌圖像執行步驟5-1至步驟5-3的過程，獲得檢測結果張量R1和識別預測張量T2；

步驟6-2，按照CTC的實現規則，對T2進行Softmax操作將其變換為概率形式；

步驟6-3，利用貪心搜索獲取每個預測位取概率最大的字符，獲得車牌的字符序列S；

步驟6-4，去除所述字符序列S的空白位和重復位，獲得最終的車牌識別結果R2。

2.根據權利要求1所述的端到端的輕量級深度車牌識別方法，其特征在于，步驟3所述獲取車牌區域圖像，具體包括：

步驟3-1，將車牌數據集中圖像的尺寸統一放縮至M×M；

步驟3-2，進一步將圖像尺寸放縮至N×N，N×N為車牌檢測網絡的輸入尺寸，其中，N＜M；

步驟3-3，將車牌檢測網絡輸出的角點坐標投影至步驟3-1中尺寸為M×M的圖像中，取出相應的車牌區域圖像；

步驟3-4，對所述車牌區域圖像進行幾何透視矯正。