[發(fā)明專利]基于端到端的車牌檢測(cè)與關(guān)鍵點(diǎn)檢測(cè)方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202111449946.2
• 申請(qǐng)日: 2021-11-30
• 公開（公告）號(hào): CN114267030A
• 公開（公告）日: 2022-04-01
• 發(fā)明（設(shè)計(jì)）人: 程家明;周志祥;孫建國;彭?xiàng)?/a>
• 申請(qǐng)（專利權(quán)）人: 武漢興圖新科電子股份有限公司
• 主分類號(hào): G06V20/62
• 分類號(hào): G06V20/62;G06V10/25;G06V10/774;G06K9/62
• 代理公司: 武漢知產(chǎn)時(shí)代知識(shí)產(chǎn)權(quán)代理有限公司 42238
• 代理人: 張毅

1.一種基于端到端的車牌檢測(cè)與關(guān)鍵點(diǎn)檢測(cè)方法，其特征在于，包括以下步驟：

獲取車牌圖像數(shù)據(jù)，并進(jìn)行預(yù)處理；

構(gòu)建一種基于改進(jìn)Yolo的車牌檢測(cè)網(wǎng)絡(luò)；

使用預(yù)處理后的車牌圖像數(shù)據(jù)對(duì)所述基于改進(jìn)Yolo的車牌檢測(cè)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，訓(xùn)練完成后，得到訓(xùn)練好的車牌檢測(cè)網(wǎng)絡(luò)；

將待識(shí)別車牌圖像數(shù)據(jù)輸入到所述訓(xùn)練好的車牌檢測(cè)網(wǎng)絡(luò)中進(jìn)行檢測(cè)，得到車牌檢測(cè)與關(guān)鍵點(diǎn)檢測(cè)結(jié)果。

2.如權(quán)利要求1所述的基于端到端的車牌檢測(cè)與關(guān)鍵點(diǎn)檢測(cè)方法，其特征在于，所述預(yù)處理包括數(shù)據(jù)增強(qiáng)和歸一化處理；所述數(shù)據(jù)增強(qiáng)包括：旋轉(zhuǎn)、鏡像、mixup和masiac。

3.如權(quán)利要求1所述的基于端到端的車牌檢測(cè)與關(guān)鍵點(diǎn)檢測(cè)方法，其特征在于，所述構(gòu)建基于改進(jìn)Yolo的車牌檢測(cè)網(wǎng)絡(luò)包括：構(gòu)建由三個(gè)網(wǎng)絡(luò)結(jié)構(gòu)構(gòu)成的車牌檢測(cè)網(wǎng)絡(luò)，分別為backbone、neck和head。

4.如權(quán)利要求3所述的基于端到端的車牌檢測(cè)與關(guān)鍵點(diǎn)檢測(cè)方法，其特征在于，所述backbone采用CSPDarkNet53，用于獲得所述預(yù)處理后的車牌圖像數(shù)據(jù)的基本特征。

5.如權(quán)利要求3所述的基于端到端的車牌檢測(cè)與關(guān)鍵點(diǎn)檢測(cè)方法，其特征在于，所述neck包括四層PAN與四層FPN構(gòu)成雙向金字塔結(jié)構(gòu)，四層FPN自頂向下增強(qiáng)語義信息，用于獲得所述預(yù)處理后的車牌圖像數(shù)據(jù)的語義特征；四層PAN自底向上傳遞位置信息，用于獲得所述預(yù)處理后的車牌圖像數(shù)據(jù)的位置特征。

6.如權(quán)利要求3所述的基于端到端的車牌檢測(cè)與關(guān)鍵點(diǎn)檢測(cè)方法，其特征在于，所述head結(jié)構(gòu)在原始Yolo網(wǎng)絡(luò)的head結(jié)構(gòu)的基礎(chǔ)上增加了8個(gè)點(diǎn)，用于輸出車牌的四個(gè)關(guān)鍵點(diǎn)坐標(biāo)。

7.如權(quán)利要求3所述的基于端到端的車牌檢測(cè)與關(guān)鍵點(diǎn)檢測(cè)方法，其特征在于，所述使用預(yù)處理后的車牌圖像數(shù)據(jù)對(duì)所述基于改進(jìn)Yolo的車牌檢測(cè)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，訓(xùn)練完成后，得到訓(xùn)練好的車牌檢測(cè)網(wǎng)絡(luò)的步驟，包括：

將所述預(yù)處理后的車牌圖像數(shù)據(jù)輸入到所述backbone中進(jìn)行特征提取，獲得圖像數(shù)據(jù)的基本特征；

將所述基本特征輸入所述neck中進(jìn)行語義增強(qiáng)與位置信息傳遞，獲得圖像數(shù)據(jù)的語義特征和位置特征；

將所述語義特征和所述位置特征通過所述head預(yù)測(cè)輸出四層特征圖，每層特征圖的每個(gè)anchor有三個(gè)預(yù)選結(jié)果；

對(duì)各所述預(yù)選結(jié)果進(jìn)行非極大值抑制處理后，濾除低置信度和重復(fù)冗余的預(yù)選結(jié)果，得到最終預(yù)測(cè)結(jié)果，所述最終預(yù)測(cè)結(jié)果包括目標(biāo)框以及目標(biāo)框內(nèi)車牌的四個(gè)關(guān)鍵點(diǎn)；

根據(jù)所述最終預(yù)測(cè)結(jié)果和所述訓(xùn)練樣本集中的標(biāo)簽計(jì)算得到多任務(wù)損失函數(shù)，通過后向傳播方法優(yōu)化所述車牌檢測(cè)網(wǎng)絡(luò)的模型參數(shù)，保留參數(shù)優(yōu)化后的車牌檢測(cè)網(wǎng)絡(luò)。

8.如權(quán)利要求7所述的基于端到端的車牌檢測(cè)與關(guān)鍵點(diǎn)檢測(cè)方法，其特征在于，在所述得到最終預(yù)測(cè)結(jié)果的步驟之后，還包括：

根據(jù)所述最終預(yù)測(cè)結(jié)果中包含的目標(biāo)框框以及目標(biāo)框內(nèi)車牌的四個(gè)關(guān)鍵點(diǎn)進(jìn)行透視變換，投影到矩形平面，得到矯正后的車牌。

9.如權(quán)利要求7所述的基于端到端的車牌檢測(cè)與關(guān)鍵點(diǎn)檢測(cè)方法，其特征在于，所述多任務(wù)損失函數(shù)包括：車牌目標(biāo)框回歸損失函數(shù)、車牌分類損失函數(shù)和車牌關(guān)鍵點(diǎn)損失函數(shù)；

所述車牌目標(biāo)框回歸損失函數(shù)使用CIOU損失函數(shù)；

所述車牌分類損失函數(shù)使用CE交叉熵?fù)p失函數(shù)；

所述車牌關(guān)鍵點(diǎn)損失函數(shù)使用wingloss；

所述多任務(wù)損失函數(shù)loss＝CIOU+CE+β*wingloss；

其中：β為平衡loss的系數(shù)，t表示迭代次數(shù)。

10.一種基于端到端的車牌檢測(cè)與關(guān)鍵點(diǎn)檢測(cè)裝置，其特征在于，包括以下模塊：

圖像數(shù)據(jù)獲取及預(yù)處理模塊，用于獲取車牌圖像數(shù)據(jù)，并進(jìn)行預(yù)處理；

網(wǎng)絡(luò)構(gòu)建模塊，用于構(gòu)建一種基于改進(jìn)Yolo的車牌檢測(cè)網(wǎng)絡(luò)；

網(wǎng)絡(luò)訓(xùn)練模塊，用于使用預(yù)處理后的車牌圖像數(shù)據(jù)對(duì)所述基于改進(jìn)Yolo的車牌檢測(cè)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，訓(xùn)練完成后，得到訓(xùn)練好的車牌檢測(cè)網(wǎng)絡(luò)；

車牌檢測(cè)模塊，用于將待識(shí)別車牌圖像數(shù)據(jù)輸入到所述訓(xùn)練好的車牌檢測(cè)網(wǎng)絡(luò)中進(jìn)行檢測(cè)，得到車牌檢測(cè)與關(guān)鍵點(diǎn)檢測(cè)結(jié)果。