[發明專利]一種證件信息檢測與提取方法

在審

• 申請號: 202010419375.7
• 申請日: 2020-05-18
• 公開（公告）號: CN111461122A
• 公開（公告）日: 2020-07-28
• 發明（設計）人: 俞揚;詹德川;周志華;韋天健
• 申請（專利權）人: 南京大學
• 主分類號: G06K9/32
• 分類號: G06K9/32;G06K9/34;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京樂羽知行專利代理事務所(普通合伙) 32326
• 代理人: 李玉平

1.一種證件信息檢測與提取方法，其特征在于：包括制作證件數據集、訓練Faster-RCNN模型、訓練CRNN模型和證件信息識別；

制作證件數據集：首先制作與證件一樣的證件模板，然后在證件模板的屬性對應的文本區域打印上隨機的相應信息；證件模板打印上信息后得到合成的證件圖片，獲取每個目標屬性對應文本區域的四個坐標點，將每個目標屬性對應文本區域的四個坐標點和目標屬性對應文本區域的類別作為標注信息，所述證件圖片的標注信息形成證件數據集，用于文本檢測與分類模型的訓練；

訓練Faster-RCNN模型：基于Faster-RCNN模型進行證件文本檢測與分類，將上文所得到的證件數據集用于Faster-RCNN模型的訓練；

訓練CRNN模型：用于CRNN模型的訓練數據集由兩部分構成；一部分以證件模板作為背景，在證件模板的相應的屬性文本區域位置輸入相應的信息，得到數據集；一部分來自于真實場景證件圖片數據集；將上述兩部分數據集的圖片采用訓練好的Faster-RCNN模型進行切割后，得到作為訓練數據集的文本區域圖片，將訓練數據集用于CRNN模型訓練；

證件信息識別：輸入證件圖片到訓練好的Faster-RCNN模型，得到切割后的文本區域圖片，并得知文本區域圖片類別，然后將文本區域圖片作為訓練好的CRNN模型的輸入，得到具體的結構化文字識別結果。

2.根據權利要求1所述的證件信息檢測與提取方法，其特征在于：在制作證件數據集時，對證件模板顏色進行隨機擾動，證件模板的文字信息的字體在預設的多種字體中隨機選擇，字體大小和顏色在預設范圍內隨機選擇，證件模板上文字信息打印的位置也在預設范圍內波動；證件模板打印上文字信息后得到合成的證件圖片，再把合成的證件圖片粘貼到其他背景圖片中；之后，使用加入噪聲、顏色擾動、仿射變換的數據增強的方法，對圖片進行數據增強處理；最終生成數萬張不同的證件圖片，通過最小外接矩形包圍目標屬性文本區域的方式獲取每個目標屬性文本區域對應的四個坐標點，將每一項目標屬性文本區域對應的四個坐標點和類別作為標注信息，所述證件圖片的標注信息形成證件數據集，用于文本檢測與分類模型的訓練。

3.根據權利要求1所述的證件信息檢測與提取方法，其特征在于：在訓練CRNN模型過程中，對于第一部分數據集，通過隨機改變字體類型、字體大小、字體顏色生成不同的文本行，粘貼在證件模板的相應的屬性文本區域，然后對證件模板隨機進行仿射變換和模糊處理，得到數據集；將第一部分和第二部分的兩部分數據集采用訓練好的Faster-RCNN模型進行切割后，得到屬性文本區域圖片，使文本區域圖片轉化為分辨率是200*32的圖片，得到訓練數據集。

4.根據權利要求1所述的證件信息檢測與提取方法，其特征在于：所述證件為駕駛證。

5.根據權利要求1所述的證件信息檢測與提取方法，其特征在于：制作證件數據集過程中，每個目標屬性對應一個矩形文本區域，矩形文本區域的四個坐標點為（X,Y,W,H），其中(X，Y)表示矩形文本區域左上角坐標，W,H表示矩形文本區域的寬和高，證件數據集中每一張圖片樣本的標注信息為一個五維數組，也就是（X,Y,W,H,C），C代表文本區域的類別。