[發(fā)明專利]基于深度學(xué)習(xí)的航道船牌檢測、定位及識別方法

在審

• 申請?zhí)枺?/td>: 202011609509.8
• 申請日: 2020-12-30
• 公開（公告）號: CN112633277A
• 公開（公告）日: 2021-04-09
• 發(fā)明（設(shè)計）人: 曹九穩(wěn);劉德康;王建中;楊潔
• 申請（專利權(quán)）人: 杭州電子科技大學(xué)
• 主分類號: G06K9/32
• 分類號: G06K9/32;G06K9/34;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州君度專利代理事務(wù)所(特殊普通合伙) 33240
• 代理人: 朱亞冠

1.基于深度學(xué)習(xí)的航道船牌檢測、定位及識別方法，其特征在于：

具體包括如下步驟：

步驟1、船牌檢測、定位數(shù)據(jù)集創(chuàng)建：通過攝像機采集涵蓋船牌圖像的圖片，使用labelme標(biāo)注軟件進行數(shù)據(jù)標(biāo)注，從而構(gòu)建目標(biāo)數(shù)據(jù)集；

步驟2、船牌檢測、定位模型訓(xùn)練：基于AdvancedEAST算法，利用船牌數(shù)據(jù)集進行模型訓(xùn)練；

步驟3、船牌文字識別訓(xùn)練集創(chuàng)建：根據(jù)標(biāo)注坐標(biāo)，裁剪船牌文本行，以文字內(nèi)容作為標(biāo)注信息，通過本發(fā)明中的數(shù)據(jù)擴充方法，對裁剪出的船牌文本行數(shù)據(jù)進行擴充，從而創(chuàng)建識別訓(xùn)練集；

步驟4、識別模型訓(xùn)練：基于CRNN算法，利用船牌文字識別訓(xùn)練集進行模型訓(xùn)練；

步驟5、模型測試及應(yīng)用：用訓(xùn)練好的模型對船牌圖片進行船牌檢測、定位及識別結(jié)果測試，輸出帶有文本行邊界框的圖片及船牌文本行文字內(nèi)容。

2.如權(quán)利要求1所述的基于深度學(xué)習(xí)的航道船牌檢測、定位及識別方法，其特征在于：

所述步驟1，具體步驟如下：

步驟1-1、在運河岸邊、碼頭、港口架設(shè)攝像機，對船只號牌進行拍攝，得到不同尺度大小、不同背景、不同光照、不同傾斜角度、不同位置的圖片；

步驟1-2、使用labelme標(biāo)注軟件以四邊形方式對圖像中船牌文本行進行邊界框標(biāo)注，同時標(biāo)注對應(yīng)的文字信息，保存為.json文件；標(biāo)注時以文本行左上角頂點為起點，逆時針旋轉(zhuǎn)；模型訓(xùn)練時，需將.json文件中的邊界框坐標(biāo)信息及文本標(biāo)注信息提取出，以.txt格式進行保存，保存格式為“(x_i，y_i)，文本”，其中i＝1,2,3,4，表示四邊形四個頂點坐標(biāo)。

3.如權(quán)利要求1所述的基于深度學(xué)習(xí)的航道船牌檢測、定位及識別方法，其特征在于：

所述步驟2，具體步驟如下：

步驟2-1、選用AdvancedEAST算法將文字檢測轉(zhuǎn)化為語義分割問題；網(wǎng)絡(luò)結(jié)構(gòu)分為“特征提取”、“特征融合”、“輸出層”三個部分；

步驟2-2、“特征提取”是使用在ImageNet圖像數(shù)據(jù)集上訓(xùn)練過的VGG16深度模型作為基礎(chǔ)網(wǎng)絡(luò)，去掉全連接層，將其改造成為全卷積網(wǎng)絡(luò)，使用卷積、池化操作進行下采樣；

步驟2-3、“特征融合”通過上采樣操作放大feature maps尺寸，然后抽取原圖尺寸大小的feature maps，與上采樣操作放大的feature maps進行跨層連接，從而實現(xiàn)特征融合，并最終將feature maps放大到原圖尺寸大??；

步驟2-4、“輸出層”采用四邊形框作為文本行的邊界框，通過定義邊界像素，分別預(yù)測一側(cè)的四邊形框的兩個頂點，從而得到四個頂點坐標(biāo)，稱為geometry map；同時輸出圖像文字區(qū)域及背景區(qū)域的二分類信息，稱為score map；

步驟2-5、geometry map與score map的訓(xùn)練學(xué)習(xí)過程使用的損失函數(shù)可表示為：L＝L_s+λ_gL_g，其中L_s和L_g分別為score map損失和geometry map損失，λ_g作為權(quán)重衡量兩個損失的重要性，使用時可將其設(shè)置為1；

步驟2-6、通過如下公式計算score map損失

其中為score map預(yù)測結(jié)果，Y^*為標(biāo)注；參數(shù)β為正、類樣本間平衡因子，L_s公式稱為“類平衡交叉熵”，β使用如下公式計算：

步驟2-7、通過如下公式計算geometry map損失

其中為geometry map預(yù)測結(jié)果，Q^*為滿足1-2描述的文本幾何形狀的標(biāo)注數(shù)據(jù)；是具有不同頂點排列的所有與Q^*等價的四邊形集合，該操作是為了解決坐標(biāo)標(biāo)注順序不符合步驟1-2描述的情況，使用Q表示中某一四邊形；測四邊形框坐標(biāo)指定順序的四邊形框坐標(biāo)C_Q＝{x₁，y₁，x₂，y₂，x₃，y₃，x₄，y₄}，通過對Q中元素重排列得來，該操作是為了對齊預(yù)測、標(biāo)注坐標(biāo)，進而計算smoothed L1 Loss；且(x_i，y_i)，i＝1,2,3,4為四邊形框頂點橫、縱坐標(biāo)；正則化項為四邊形框短邊長度，可用如下公式計算：

其中D(p_i，p_j)為兩個四邊形頂點p_i，p_j之間的L₂距離，j＝(i mod 4)+1，mod表示求余運算，即兩個整數(shù)做除法運算后的余數(shù)；

表示smoothed L1 Loss，令：i＝1,2,3,4；其中，c_i∈C_Q，分別為指定順序的四邊形框坐標(biāo)C_Q、預(yù)測四邊形框坐標(biāo)中的對應(yīng)頂點坐標(biāo)，Δc表示二者差值；如c₁＝(x₁，y₁)，則具體公式表述為：

步驟2-8、利用遷移學(xué)習(xí)思想，使用合成文字檢測數(shù)據(jù)集訓(xùn)練檢測模型，得到穩(wěn)定效果后；使用創(chuàng)建的小規(guī)模船牌檢測數(shù)據(jù)集進行模型微調(diào)；

步驟2-9、使用船牌上數(shù)據(jù)集具體訓(xùn)練時，將船牌檢測數(shù)據(jù)集中的圖片，隨機分為8：2的兩部分，其中80％為訓(xùn)練樣本，剩余的20％為測試樣本；加載訓(xùn)練好的VGG16模型，加載文字檢測合成數(shù)據(jù)集上訓(xùn)練好的AdvancedEAST算法模型；使用Adam作為優(yōu)化器，初始學(xué)習(xí)率設(shè)置為10^-4，每個epoch進行衰減，直到衰減到10^-5，同時設(shè)置早停機制。