[發明專利]基于深度學習的自然場景證件圖像文字識別方法

有效

• 申請號: 201910630252.5
• 申請日: 2019-07-12
• 公開（公告）號: CN110532855B
• 公開（公告）日: 2022-03-18
• 發明（設計）人: 王曉甜;吳嘉誠;林亞靜;石光明;齊飛;林杰
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06V30/413
• 分類號: G06V30/413;G06V30/146;G06V30/148;G06V10/82;G06V30/10;G06N3/04;G06N3/08
• 代理公司: 陜西電子工業專利中心 61205
• 代理人: 田文英;王品華

本發明公開了一種基于深度學習的自然場景證件圖像文字識別方法，實現的步驟為：(1)構建圖像特征提取模塊；(2)構建文字前景預測模塊；(3)構建文字區域定位模塊；(4)組成文字定位網絡；(5)構建字符特征提取模塊；(6)組成文字識別網絡；(7)構建文字定位數據集；(8)構建文字識別數據集；(9)訓練文字定位網絡；(10)訓練文字識別網絡；(11)識別證件圖像中的文字。本發明克服了現有證件圖像文字識別技術對拍攝環境要求苛刻，在復雜場景中識別準確率低的問題，使得本發明能夠在任意自然場景下都能精準的識別證件圖像中的文字。

技術領域

本發明屬于圖像文字處理技術領域，更進一步涉及圖像文字識別技術領域中的一種基于深度學習的自然場景證件圖像中的文字識別方法。本發明可用于對自然場景下(例如室內辦公環境、街景下)拍攝的證件(例如身份證，營業執照，駕駛證，行駛證)識別其中的文字。

背景技術

識別證件圖像中的文字在許多場景下都十分普遍重要，如在金融場景下的遠程開戶、線上借貸、支付驗證等場景下，我們需要識別用戶身份證的姓名，地址，身份證號碼等信息，以查驗是否人證合一；工商部門執法，往往需要識別營業執照的企業名稱、法人代表、統一社會信用代碼，看企業的企業名稱，法人代表，統一社會信用代碼等重要信息是否與工商部門系統里數據庫的記錄一致。以確保該企業的合法性。在交通執法、車輛管理所等場景往往也需要識別駕駛證、行駛證中的證號、有效期、車輛代碼等信息。

廣州恒巨信息科技有限公司在其申請的專利文獻“一種身份證識別方法”(專利申請號201610008974.3，公開號105701488A)中公開了一種基于圖像處理的身份證識別方法。該方法包括以下步驟：(1)采集身份證圖像，(2)將采集的身份證圖像進行預處理，(3)對預處理后的圖像進行定位分割，(4)對定位分割后的圖像進行識別。該方法存在的不足之處是：由于該方法在將采集的身份證圖像進行預處理和對預處理后的圖像進行定位分割時需要用二值化算法將原圖像變成二值化圖像，然而二值化算法對圖片質量、成像環境要求非常嚴格，對噪聲十分敏感，證件圖像背景又包含紋理，每次利用證件圖像文字識別算法時必須先拍攝圖片，再對拍攝圖片進行預處理，若拍攝環境苛刻，則預處理效果較差，導致無法識別。

福州大學在其申請的專利文獻“復雜場景下基于內特征和文本域布局的駕駛證檢測識別方法”(專利申請號201810218038.4，公開號108427946A)中公開了一種基于內特征和文本域布局的駕駛證檢測識別方法。該方法包括以下步驟，(1)用歸一化和SSR增強等技術預處理圖像,(2)用形態學操作和線段修補對證件中的車型框邊框進行修補,通過輪廓檢測與過濾得到車型框輪廓,(3)求擬合直線的交點得到車型框頂點,結合標準駕駛證布局得到駕駛證區域圖像，(4)然后分析積分投影信息對車型文本區域位置進行精細定位,從它開始,每次找臨近的未定位區域進行粗定位和精細定位得到文本區域圖像,并在地址欄以上區域進行傾斜校正，(5)最后融合多種方法對文本區域二值化,用專訓的文字識別引擎識別文字。該方法不足之處是：由于該方法先要用形態學操作和線段修補對證件中的車型框邊框進行修補,通過輪廓檢測與過濾得到車型框輪廓,然后求擬合直線的交點得到車型框頂點,根據標準駕駛證中的車型框輪廓區域占整張駕駛證的比例大小來確定駕駛證區域圖像的位置，如此得到的駕駛證區域圖像十分依賴駕駛證中的車型框輪廓區域的定位以及駕駛證整體布局必須十分標準，由于每個人拍攝出來的駕駛證圖片是存在差異的，導致駕駛證中的車型框輪廓區域占整張駕駛證的比例大小是無法確定的，駕駛證區域圖像的位置就無法準確定位，導致后面的文本區域無法精細定位，進而影響文本區域內的文字識別，使得該方法識別場景較為單一，在復雜場景下識別準確率較低。

發明內容

本發明的目的在于針對上述現有技術存在的不足，提出一種基于深度學習的自然場景證件圖像文字識別方法，解決現有證件圖像文字識別方法對拍攝環境要求苛刻，識別場景單一，在復雜場景中識別準確率低的問題。