[發(fā)明專利]一種基于二維高斯邊界框重疊度度量的車牌檢測(cè)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202210595586.5
• 申請(qǐng)日: 2022-05-30
• 公開(kāi)（公告）號(hào): CN114677501A
• 公開(kāi)（公告）日: 2022-06-28
• 發(fā)明（設(shè)計(jì)）人: 劉寒松;王永;王國(guó)強(qiáng);翟貴乾;劉瑞;李賢超
• 申請(qǐng)（專利權(quán)）人: 松立控股集團(tuán)股份有限公司
• 主分類號(hào): G06V10/22
• 分類號(hào): G06V10/22;G06N3/04;G06N3/08
• 代理公司: 青島高曉專利事務(wù)所(普通合伙) 37104
• 代理人: 黃曉敏

1.一種基于二維高斯邊界框重疊度度量的車牌檢測(cè)方法，其特征在于，包括如下步驟：

（1）數(shù)據(jù)集構(gòu)建：收集小區(qū)出入口、側(cè)方位停車場(chǎng)中含有常規(guī)以及傾斜、畸變車牌的圖像，構(gòu)建含有車牌的圖像數(shù)據(jù)集，并標(biāo)注車牌的位置，再將數(shù)據(jù)集劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集，其中訓(xùn)練集用于訓(xùn)練，驗(yàn)證集用于訓(xùn)練過(guò)程中的模型驗(yàn)證，測(cè)試集用于最終的精度測(cè)試；

（2）主干網(wǎng)絡(luò)特征提取：先對(duì)數(shù)據(jù)集中的圖片尺寸和數(shù)值范圍進(jìn)行初始化處理，再將處理后的圖像輸入到主干網(wǎng)絡(luò)中進(jìn)行卷積特征提取；

（3）多尺度特征層次結(jié)構(gòu)：將特征提取后的圖像通過(guò)基于特征融合的多尺度特征層次結(jié)構(gòu)得到的多尺度特征層次特征圖集合；

（4）車牌位置定位：根據(jù)步驟（3）得到的多尺度特征層次特征圖集合，在不同的多尺度卷積層后連接兩層卷積核為3*3的卷積層以及一層平均池化層，在特征圖的每一個(gè)特征點(diǎn)設(shè)置一個(gè)錨框，分別使用兩個(gè)結(jié)構(gòu)相同的但不共享參數(shù)的全連接層子網(wǎng)絡(luò)學(xué)習(xí)分類和位置偏移信息，實(shí)現(xiàn)目標(biāo)框的類別分類和位置回歸；其中位置偏移信息是車牌的目標(biāo)框與特征點(diǎn)對(duì)應(yīng)的錨框的偏差，類別分類是z判斷是否是車牌，位置為車牌的朝向框，其中表示車牌的中心點(diǎn)，表示車牌朝向框的長(zhǎng)和寬，表示與水平方向的夾角；

（5）朝向框轉(zhuǎn)換：將基于五點(diǎn)表示法的朝向框轉(zhuǎn)換成基于二維高斯分布表示的朝向框，獲得預(yù)測(cè)的朝向框和真實(shí)的朝向框的二維高斯分布形式；

（6）朝向框相似度度量：使用KL散度作為兩個(gè)分布之間的度量標(biāo)準(zhǔn)度量預(yù)測(cè)的朝向框和真實(shí)的朝向框之間的距離；

（7）訓(xùn)練網(wǎng)絡(luò)結(jié)構(gòu)，得到訓(xùn)練好的模型參數(shù)：使用數(shù)據(jù)集中訓(xùn)練集的圖像，圖片尺寸為6404803，將圖像依次輸入到網(wǎng)絡(luò)中，并且使用IOU閾值作為樣本分配策略的衡量標(biāo)準(zhǔn)，輸出車牌的分類置信度和回歸坐標(biāo)位置，其中B為一次訓(xùn)練所選取的樣本數(shù)，Class為2，即是否是車牌，N是輸出預(yù)測(cè)車牌目標(biāo)的數(shù)量，5為車牌的朝向框的中心點(diǎn)坐標(biāo)、框的長(zhǎng)寬和角度；采用Focal損失算預(yù)測(cè)類別和真實(shí)類別的誤差，采用步驟朝向框相似度度量計(jì)算預(yù)測(cè)車牌位置與真實(shí)車牌位置的誤差，并通過(guò)反向傳播更新參數(shù)，經(jīng)過(guò)200輪完整訓(xùn)練集訓(xùn)練迭代后，保存驗(yàn)證集上結(jié)果最好的模型參數(shù)，作為最終模型訓(xùn)練好的參數(shù)，得到訓(xùn)練好的車牌檢測(cè)網(wǎng)絡(luò)參數(shù)；

（8）輸出車牌位置和類別：保持圖片長(zhǎng)短邊比例不變的情況下將圖像長(zhǎng)邊縮放（resize）到640后對(duì)圖片的短邊進(jìn)行填充，使得圖像尺寸為640×480，作為車牌檢測(cè)網(wǎng)絡(luò)的輸入，即可輸出車牌的分類置信度和車牌的坐標(biāo)位置，設(shè)置閾值過(guò)濾低置信度的車牌，并使用非極大抑制刪除網(wǎng)絡(luò)輸出的冗余的框，得到車牌位置。

2.根據(jù)權(quán)利要求1所述基于二維高斯邊界框重疊度度量的車牌檢測(cè)方法，其特征在于，步驟（1）中標(biāo)注車牌的位置是對(duì)車牌四個(gè)角點(diǎn)的標(biāo)注，通過(guò)四個(gè)角點(diǎn)的位置計(jì)算出車牌的朝向框的中心點(diǎn)、長(zhǎng)寬以及與水平方向的夾角，用于監(jiān)督車牌的定位。

3.根據(jù)權(quán)利要求2所述基于二維高斯邊界框重疊度度量的車牌檢測(cè)方法，其特征在于，步驟（2）中所述主干網(wǎng)絡(luò)使用在ImageNet數(shù)據(jù)集中經(jīng)過(guò)預(yù)訓(xùn)練的VGG16作為特征提取網(wǎng)絡(luò)，分別提取C3、C4和C5輸入到后續(xù)網(wǎng)絡(luò)中。

4.根據(jù)權(quán)利要求3所述基于二維高斯邊界框重疊度度量的車牌檢測(cè)方法，其特征在于，步驟（3）中所述基于特征融合的多尺度特征層次結(jié)構(gòu)通過(guò)自頂向下的路徑對(duì)淺層特征進(jìn)行語(yǔ)義擴(kuò)充，并通過(guò)自底向上的路徑將頂層特征映射與底層信息相結(jié)合，特征層次的每一層都能同時(shí)捕獲豐富的語(yǔ)義表示和底層信息；其中自頂向下的路徑使用上采樣模塊和卷積層對(duì)特征進(jìn)行放大，并于對(duì)應(yīng)尺寸的特征融合，自底向上的路徑使用下采樣模塊和卷積層對(duì)特征進(jìn)行縮放并與對(duì)應(yīng)尺寸的特征融合，最終通過(guò)將不同層次的特征結(jié)合對(duì)多尺度目標(biāo)形成一個(gè)強(qiáng)大的特征表示。

5.根據(jù)權(quán)利要求4所述基于二維高斯邊界框重疊度度量的車牌檢測(cè)方法，其特征在于，步驟（5）中所述基于二維高斯分布表示的朝向框?yàn)椋渲杏茫ǎ┻M(jìn)行表示，公式如下：

用表示，公式如下：

；

預(yù)測(cè)的朝向框和真實(shí)的朝向框的二維高斯分布形式分別為。

6.根據(jù)權(quán)利要求5所述基于二維高斯邊界框重疊度度量的車牌檢測(cè)方法，其特征在于，步驟（6）中所述KL散度計(jì)算公式為：

。