[發(fā)明專利]一種基于語義分割的境外駕駛證版面文字定位方法

有效

• 申請?zhí)枺?/td>: 202011152318.3
• 申請日: 2020-10-26
• 公開（公告）號: CN112183549B
• 公開（公告）日: 2022-05-27
• 發(fā)明（設(shè)計）人: 錢彬;王軍華;顧席光;虞力英;江帆
• 申請（專利權(quán)）人: 公安部交通管理科學(xué)研究所
• 主分類號: G06V10/26
• 分類號: G06V10/26;G06V10/80;G06V10/774;G06V10/82;G06K9/62;G06N3/04
• 代理公司: 無錫盛陽專利商標(biāo)事務(wù)所(普通合伙) 32227
• 代理人: 張寧;黃瑩

1.一種基于語義分割的境外駕駛證版面文字定位方法，其特征在于，其包括以下步驟：

S1：采集圖片樣本，并對每個圖片進(jìn)行標(biāo)注，標(biāo)注出文字區(qū)域；

S2：構(gòu)建文字定位模型；

所述文字定位模型包括：針對駕駛證版面普通尺寸文字和小目標(biāo)文字分別設(shè)計的深層子網(wǎng)絡(luò)和窄層子網(wǎng)絡(luò)，所述深層子網(wǎng)絡(luò)、所述窄層子網(wǎng)絡(luò)最終通過基于注意力機(jī)制的特征融合模塊進(jìn)行融合，融合后的模型再經(jīng)過兩層卷積以調(diào)整特征融合性能；

所述窄層子網(wǎng)絡(luò)采用3個卷積層進(jìn)行特征提取，在特征提取的過程中前兩層步長為2，最后1層步長為1；

所述深層子網(wǎng)絡(luò)采用預(yù)訓(xùn)練的Resnet18作為基礎(chǔ)模型；對通過所述基礎(chǔ)模型得到的特征圖再采用卷積層進(jìn)行特征提取得到1/16和1/32大小的特征圖，再通過雙線性插值進(jìn)行特征級聯(lián)生成128通道的輸出特征；

特征融合模型首先對輸入特征依次通過一個級聯(lián)函數(shù)、一個卷積層進(jìn)行處理，然后構(gòu)建兩路分支；第一路分支包括依次連接的平均池化層、卷積層、非線性激活層、卷積層、激活層；第二路分支對所述第一路輸出的特征圖權(quán)重進(jìn)行修正后輸出中間特征值；最后所述中間特征值與所述所述特征融合模型的輸入特征進(jìn)行累加后輸出；

S3：基于步驟S1中采集的所述圖片樣本，對所述文字定位模型進(jìn)行訓(xùn)練，獲得訓(xùn)練好的所述文字定位模型；

S4：獲取待定位證件圖片，將所述待定位證件圖片輸入到訓(xùn)練好的所述文字定位模型進(jìn)行文字區(qū)域定位；

S5：對定位出來的所述文字區(qū)域進(jìn)行分離，然后將每個分離出的所述文字區(qū)域的圖像進(jìn)行識別，獲得最終識別結(jié)果。

2.根據(jù)權(quán)利要求1所述一種基于語義分割的境外駕駛證版面文字定位方法，其特征在于：所述窄層子網(wǎng)絡(luò)中的3個卷積層的輸出通道數(shù)分別為：64、64、128。

3.根據(jù)權(quán)利要求1所述一種基于語義分割的境外駕駛證版面文字定位方法，其特征在于：步驟S3中，對所述文字定位模型進(jìn)行訓(xùn)練包括以下步驟：

a1：采用Pytorch分布式訓(xùn)練框架實現(xiàn)對所述文字定位模型的訓(xùn)練，訓(xùn)練完成后獲得模型的訓(xùn)練參數(shù)文件pth；

a2：基于Pytorch對所述訓(xùn)練參數(shù)文件pth進(jìn)行量化、裁剪并序列化導(dǎo)出生成靜態(tài)參數(shù)文件pt；

a3：使用Pytorch Mobile框架在移動端調(diào)用所述pt文件，完成部署。

4.根據(jù)權(quán)利要求1所述一種基于語義分割的境外駕駛證版面文字定位方法，其特征在于：步驟S4中，對定位出來的所述文字區(qū)域使用OpenCV連通域算子進(jìn)行分離，然后將每個分離出的所述文字區(qū)域的圖像發(fā)送至遠(yuǎn)程服務(wù)器進(jìn)行在線文字識別。

5.根據(jù)權(quán)利要求1所述一種基于語義分割的境外駕駛證版面文字定位方法，其特征在于：步驟S1中采集的所述圖片樣本的采集標(biāo)準(zhǔn)包括：寬為1920像素、高1080像素、3通道RGB圖像。

6.根據(jù)權(quán)利要求1所述一種基于語義分割的境外駕駛證版面文字定位方法，其特征在于：步驟S1中，對每個圖片進(jìn)行標(biāo)注時使用labelme工具的多邊形標(biāo)注方式標(biāo)注出文字區(qū)域，并生成json文件；標(biāo)注完成后對json文件進(jìn)行轉(zhuǎn)換，生成每幅圖片對應(yīng)的二值掩碼圖。