[發(fā)明專利]一種基于深度學(xué)習(xí)的銀行卡號(hào)識(shí)別方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201910868191.6
• 申請(qǐng)日: 2019-09-12
• 公開（公告）號(hào): CN110781892A
• 公開（公告）日: 2020-02-11
• 發(fā)明（設(shè)計(jì)）人: 唐明浩;李非凡;李清淳
• 申請(qǐng)（專利權(quán)）人: 河海大學(xué)
• 主分類號(hào): G06K9/34
• 分類號(hào): G06K9/34;G06K9/46;G06K9/62;G06N3/08
• 代理公司: 32204 南京蘇高專利商標(biāo)事務(wù)所(普通合伙)
• 代理人: 成立珍

本發(fā)明公開了一種基于深度學(xué)習(xí)的銀行卡號(hào)識(shí)別方法，通過卡片的像素水平排列度做sigma變換將傾斜圖片矯正成水平方向，選定一個(gè)可以檢測(cè)目標(biāo)的滑動(dòng)窗口，接著使用改進(jìn)的VggNet作為基本判別模型，輸入數(shù)據(jù)均重新拉伸大小為到64*64，采用SGD優(yōu)化方法來訓(xùn)練模型，實(shí)現(xiàn)卡號(hào)數(shù)字的識(shí)別。然后以0.25*滑動(dòng)窗口長(zhǎng)度的值作為移動(dòng)步伐的大小從上至下做平移，依賴每一個(gè)位置的判別閾值來判定窗口的位置，在滑動(dòng)窗口內(nèi)有一個(gè)大小可容納一個(gè)字符長(zhǎng)度的小滑塊，從左向右檢測(cè)產(chǎn)生判別結(jié)果，以實(shí)現(xiàn)銀行卡號(hào)的定位和識(shí)別。本發(fā)明中依賴判別閾值進(jìn)行滑塊處理以及改進(jìn)的VggNet模型的方法具有較高的識(shí)別率，相比于普通平面卡號(hào)識(shí)別，本方法對(duì)凹凸卡字符定位的識(shí)別率更高。

技術(shù)領(lǐng)域

本發(fā)明涉及字符識(shí)別技術(shù)領(lǐng)域，具體為一種基于深度學(xué)習(xí)的銀行卡號(hào)識(shí)別方法。

背景技術(shù)

隨著移動(dòng)互聯(lián)網(wǎng)經(jīng)濟(jì)的興起，各銀行紛紛推出各自的手機(jī)銀行APP，以方便用戶進(jìn)行網(wǎng)上轉(zhuǎn)賬、購物、投資及其他經(jīng)濟(jì)行為。但是在綁定卡片的過程中，用戶往往因?yàn)殂y行卡號(hào)碼數(shù)字多，且需要多次核對(duì)而感到很不方便，而使用銀行卡自動(dòng)識(shí)別技術(shù)將銀行卡正面照片拍下，并且識(shí)別銀行卡號(hào)，然后幫助客戶自動(dòng)填充好銀行卡號(hào)，將會(huì)大大方便客戶綁卡

雖然銀行卡大小基本統(tǒng)一，但銀行卡背景多種多樣、卡號(hào)有平面印刷、凹凸壓印等不同方式、銀行卡在使用過程中存在不同程度的磨損等。因此，基于圖像的銀行卡卡號(hào)自動(dòng)識(shí)別具有一定的挑戰(zhàn)性。

發(fā)明內(nèi)容

本發(fā)明針對(duì)現(xiàn)有銀行卡號(hào)識(shí)別技術(shù)中對(duì)凹凸卡號(hào)中不容易定位識(shí)別方面的缺陷，提供一種基于深度學(xué)習(xí)的銀行卡號(hào)識(shí)別方法，是一種基于深度學(xué)習(xí)的，應(yīng)用邊檢測(cè)邊定位的滑動(dòng)窗口方式進(jìn)行定位，以及通過改進(jìn)的VggNet模型框架進(jìn)行訓(xùn)練識(shí)別，從而實(shí)現(xiàn)的銀行卡號(hào)識(shí)別系統(tǒng)的設(shè)計(jì)方法。

本發(fā)明的技術(shù)方案如下：

一種基于深度學(xué)習(xí)的銀行卡號(hào)識(shí)別方法，首先通過提取目標(biāo)卡片輪廓，根據(jù)卡片的像素水平排列度做sigma變換等操作進(jìn)行數(shù)據(jù)集預(yù)處理工作，然后以0.25*滑動(dòng)窗口長(zhǎng)度平移滑動(dòng)框，依賴判別閾值判定窗口位置，進(jìn)行定位同時(shí)產(chǎn)生識(shí)別產(chǎn)生結(jié)果，使用改進(jìn)的VggNet作為基本骨架模型，在保證識(shí)別率的前提下盡可能提高運(yùn)算速度，減少部分卷積層池化層并縮小特征數(shù)，輸入數(shù)據(jù)均resize到64*64，采用SGD優(yōu)化方法訓(xùn)練模型，實(shí)現(xiàn)卡號(hào)的識(shí)別，最后采用應(yīng)用程序框架PyQt5進(jìn)行GUI設(shè)計(jì)，為用戶展示基于深度學(xué)習(xí)的銀行卡號(hào)識(shí)別系統(tǒng)。

具體步驟如下：

步驟1：對(duì)訓(xùn)練數(shù)據(jù)(準(zhǔn)備好的單行多位卡號(hào)圖片)進(jìn)行預(yù)處理，得到處理好的單數(shù)字圖片，以供模型訓(xùn)練；

對(duì)于要檢測(cè)的卡片，根據(jù)卡片的像素水平排列度做sigma變換，利用sigma公式進(jìn)行圖像旋轉(zhuǎn)的操作，將傾斜圖片矯正成水平方向，根據(jù)卡片與背景差別，提取銀行卡卡片輪廓。具體過程如下：

首先，進(jìn)行處理圖像，將原始的多位數(shù)字圖片切割為單個(gè)數(shù)字，并且通過flip(左右翻轉(zhuǎn))，Rotation(旋轉(zhuǎn))，noise(加噪點(diǎn)做干擾)，brighter(亮化)，darker(暗化)等操作即可實(shí)現(xiàn)數(shù)據(jù)的增強(qiáng)，然后填充因圖像移動(dòng)導(dǎo)致的空白區(qū)域，處理過后的圖片統(tǒng)一保存到特定文件夾下以供訓(xùn)練使用。

根據(jù)卡片的文字信息的像素水平排列度做sigma變換，扭轉(zhuǎn)圖片使之水平，并且提取卡片輪廓，得到需要識(shí)別的目標(biāo)圖片。

步驟2：使用改進(jìn)的VggNet作為基本骨架模型，輸入大量銀行卡單獨(dú)數(shù)字的圖片訓(xùn)練辨別模型，辨別模型對(duì)一個(gè)字符大小的圖片判斷是哪一個(gè)數(shù)字還是并非數(shù)字，輸入圖片拉伸大小為64*64，采用SGD優(yōu)化方法訓(xùn)練模型，得到可以識(shí)別卡號(hào)的模型；