[發(fā)明專利]一種基于MSAFF-Yolov3的車牌校正檢測識別方法

有效

• 申請?zhí)枺?/td>: 202110103233.4
• 申請日: 2021-01-26
• 公開（公告）號: CN113255659B
• 公開（公告）日: 2022-07-29
• 發(fā)明（設(shè)計(jì)）人: 王堃;戴旺;劉耀輝
• 申請（專利權(quán)）人: 南京郵電大學(xué)
• 主分類號: G06V30/146
• 分類號: G06V30/146;G06V30/148;G06V20/62;G06V10/82;G06V30/19;G06V10/80;G06N3/04
• 代理公司: 南京蘇高專利商標(biāo)事務(wù)所(普通合伙) 32204
• 代理人: 曹坤

1.一種基于MSAFF-Yolov3的車牌校正檢測識別方法，在MSAFF-Yolov3網(wǎng)絡(luò)下對車牌的目標(biāo)檢測、校正網(wǎng)絡(luò)中對扭曲車牌的校正、OCR算法中對車牌字符的識別三個(gè)部分，其特征在于：具體操作步驟如下：

步驟(1)：采集圖像，并將采集到的圖像輸入到設(shè)計(jì)的自適應(yīng)多尺度融合的MSAFF-Yolov3網(wǎng)絡(luò)中，對車牌區(qū)域的特征區(qū)域進(jìn)行提取；

其中，設(shè)計(jì)的自適應(yīng)多尺度融合的MSAFF-Yolov3網(wǎng)絡(luò)能夠?qū)嚺七M(jìn)行更精準(zhǔn)的檢測，該網(wǎng)絡(luò)將所有輸出尺度的特征進(jìn)行融合，其具體操作步驟如下：

步驟(1.1)：自適應(yīng)多尺度融合利用路徑層和亞像素卷積層通過在不同通道中重新排列特征調(diào)整特征圖的大小；

其中，所述路徑層和亞像素卷積層通過不同的通道特征重新排列到一個(gè)通道來對特征圖進(jìn)行采樣，

所述亞像素卷積層從H×W×r²C改變?yōu)閞H×rW×C；

上式中，H、W和C分別表示特征圖的高度，寬度和通道，r表示特征圖的比例；

所述路徑層通過相鄰的特征疊加到不同的通道中來對特征圖進(jìn)行采樣；路徑層將特征圖從rH×rW×C改變?yōu)镠×W×r²C；

步驟(1.2)：每個(gè)尺度下的特征圖調(diào)整大小；

設(shè)表示特征圖(i，j)位置的特征，n-l表示特征圖從n縮放為l；

定義為特征圖大小為n在(i，j)位置上特征的權(quán)重，

首先，使用一個(gè)1×1的卷積塊去學(xué)習(xí)到的映射關(guān)系，然后使用Softmax函數(shù)計(jì)算每個(gè)訓(xùn)練輪次的權(quán)重，每次訓(xùn)練權(quán)重必須符合以下(1)和(2)公式；

式(1)中，N表示網(wǎng)絡(luò)中尺度的數(shù)量；

式(2)中，表示不同尺度下特征圖各個(gè)位置特征的重要性，其中，大尺度的特征包含更多的上下文信息，小尺度的特征包含更多的具體信息；

根據(jù)公式(3)重新在每個(gè)尺度上加權(quán)了特征圖，自動(dòng)調(diào)整不同尺度下特征的重要性；

式(3)中，表示重新加權(quán)的特征圖，表示是從空間角度關(guān)注目標(biāo)；自適應(yīng)特征融合通過連接每個(gè)尺度上的來執(zhí)行特征融合；

接著，使用全局池得到網(wǎng)絡(luò)的全局接受域，使用Relu激活層來學(xué)習(xí)不同通道之間的非線性關(guān)系，使用Sigmoid函數(shù)來產(chǎn)生每個(gè)通道的權(quán)值集合；

最后，通過信道方向的乘法重新確定特征圖的權(quán)重；網(wǎng)絡(luò)能夠?qū)W習(xí)自適應(yīng)的信道特征，從信道特征的角度關(guān)注目標(biāo)；

步驟(1.3)：將帶有注意力機(jī)制的自適應(yīng)融合尺度與Yolov3相融合，Yolov3使用Darknet53進(jìn)行特征提取，其在3個(gè)尺度上檢測不同大小的目標(biāo)；

利用路徑層和亞像素卷積層調(diào)整Yolov3在各個(gè)尺度下的特征映射大小；

在尺度1中，利用兩個(gè)亞像素卷積層對低分辨率的特征圖進(jìn)行上采樣；在尺度2中，利用亞像素卷積層對低分辨率的特征圖進(jìn)行上采樣，采用路徑層對低分辨率的特征圖進(jìn)行下采樣；在尺度3中，使用兩個(gè)路徑層對高分辨的特征圖進(jìn)行下采樣，然后利用注意力機(jī)制進(jìn)行特征融合，學(xué)習(xí)不同尺度下通道特征與空間特征；最后在將檢測結(jié)果進(jìn)行1×1卷積；

步驟(1.4)：設(shè)計(jì)新的損失函數(shù)，GIOU反映預(yù)測邊界盒和ground truth，GIOU由以下公式計(jì)算：

式(4)中，B_GT表示ground truth的邊界框，B_P表示預(yù)測的邊界框，B表示B_GT和B_P的最小封閉凸面，GIOU loss由下面公式計(jì)算：

Focal loss被用來預(yù)測目標(biāo)的置信度，F(xiàn)ocal loss能夠降低簡單樣例的相對損失，而對困難樣則更加重視，置信度的focal loss如下述公式所示：

Loss_conf＝-(y_GT-y_p)^γ×[y_GTlogy_p-(1-y_GT)log(1-y_p)] (6)

式(6)中，y_GT表示ground truth的置信度，y_p表示預(yù)測的置信度，γ設(shè)置為2；

利用二元交叉熵?fù)p失來預(yù)測目標(biāo)的類別；如下式：

Loss_cls＝C_GTlogC_p-(1-C_GT)log(1-C_p) (7)

式(7)中，C_GT表示ground truth的種類，C_p表示預(yù)測的種類，最終損失函數(shù)定義如下式：

式(8)中，n表示網(wǎng)絡(luò)的尺度；

步驟(2)：將輸入的車牌區(qū)域進(jìn)行檢測，檢測其是否出現(xiàn)扭曲的情況；

如出現(xiàn)扭曲，則通過校正目標(biāo)檢測網(wǎng)絡(luò)對扭曲的車牌進(jìn)行校正，再利用CNN對車牌符號進(jìn)行特征提取；

如未出現(xiàn)扭曲，則直接利用CNN對車牌符號進(jìn)行特征提取；

步驟(3)：為增加前后文字符的雙向接收和處理能力，引入一個(gè)含有LSTM的BRNN網(wǎng)絡(luò)，從而對特征序列中的每個(gè)特征執(zhí)行BLSTM處理，最終將整個(gè)特征序列轉(zhuǎn)換成一個(gè)數(shù)組；

步驟(4)：將CTC布置在BRNN的輸出層，將預(yù)測概率數(shù)組解碼成輸出標(biāo)簽值，將數(shù)組轉(zhuǎn)換成字符串。