[發(fā)明專利]一種結(jié)合STN模塊的文本檢測(cè)深度學(xué)習(xí)方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201811528158.0
• 申請(qǐng)日: 2018-12-13
• 公開（公告）號(hào): CN109635743A
• 公開（公告）日: 2019-04-16
• 發(fā)明（設(shè)計(jì)）人: 侯進(jìn);黃賢俊
• 申請(qǐng)（專利權(quán)）人: 深源恒際科技有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/32;G06K9/36
• 代理公司: 北京匯信合知識(shí)產(chǎn)權(quán)代理有限公司 11335
• 代理人: 孫民興

本發(fā)明公開了一種結(jié)合STN模塊的文本檢測(cè)深度學(xué)習(xí)方法及系統(tǒng)；其基于STN深度網(wǎng)絡(luò)模塊，對(duì)輸入圖片進(jìn)行圖像變換的相關(guān)變換矩陣參數(shù)進(jìn)行學(xué)習(xí)與估計(jì)，利用相關(guān)變換矩陣參數(shù)對(duì)圖像特征進(jìn)行矯正變換；通過(guò)文本檢測(cè)算法對(duì)矯正變換后的圖像上的文本條目區(qū)域進(jìn)行定位檢測(cè)。利用STN深度網(wǎng)絡(luò)模塊將文檔圖像定位和文本條目區(qū)域檢測(cè)兩個(gè)階段統(tǒng)一到一個(gè)網(wǎng)絡(luò)框架下，進(jìn)而發(fā)明了一種端到端的平面文檔文本條目定位技術(shù)，本發(fā)明相比于現(xiàn)有技術(shù)，整體性能有較大提高，訓(xùn)練成本更低，且實(shí)用場(chǎng)景下性能更加穩(wěn)定可靠。

技術(shù)領(lǐng)域

本發(fā)明涉及文本檢測(cè)技術(shù)領(lǐng)域，尤其涉及一種結(jié)合STN模塊的文本檢測(cè)深度學(xué)習(xí)方法及系統(tǒng)。

背景技術(shù)

OCR(Optical Character Recognition，光學(xué)字符識(shí)別)的基本任務(wù)就是對(duì)圖像文本上的文本內(nèi)容進(jìn)行提取，其一般分為兩個(gè)過(guò)程：檢測(cè)出文本區(qū)域，把文本塊裁剪出來(lái)進(jìn)入下一步對(duì)文本進(jìn)行識(shí)別，為了達(dá)到正確識(shí)別的目的，往往需要第一步的文本區(qū)域檢測(cè)做到定位出來(lái)，且文本區(qū)域中要盡量少的包含背景，這樣才能有利于圖像的識(shí)別。而對(duì)于證件、文檔、票據(jù)等這類平面文檔圖像，目前比較穩(wěn)定的主流文本檢測(cè)技術(shù)有以下兩種：

方案之一是分為兩個(gè)階段，第一階段是進(jìn)行文檔定位，檢出文檔四邊形的頂點(diǎn)，然后利用這四個(gè)頂點(diǎn)的坐標(biāo)對(duì)圖像進(jìn)行透視變換，從而達(dá)到矯正整個(gè)圖像的目的；第二階段是在變換后的圖像上，做文本條目區(qū)域進(jìn)行水平外接矩形框定位檢測(cè)；

該方案的第一階段典型方法有如mask-rcnn，mtcnn等，其基本原理就是對(duì)整個(gè)文檔進(jìn)行4個(gè)頂點(diǎn)8個(gè)坐標(biāo)值進(jìn)行回歸，得到4個(gè)頂點(diǎn)坐標(biāo)后，利用四個(gè)頂點(diǎn)做圖像變換處理；接著第二階段利用，常用的目標(biāo)檢測(cè)方法faster-rcnn、yolo、ssd等高性能的目標(biāo)檢測(cè)方法，在矯正后的圖像上，進(jìn)行文本條目的最小外接水平矩形，簡(jiǎn)稱bbox檢測(cè)。

方案之二不需要做文檔矯正，而是直接對(duì)文本條目區(qū)域進(jìn)行四邊形的四個(gè)頂點(diǎn)進(jìn)行回歸，也就是模型直接對(duì)文本條目區(qū)域的四個(gè)頂點(diǎn)進(jìn)行回歸學(xué)習(xí)，從而達(dá)到一步到位的檢測(cè)定位目的，其主流方法有mask-rcnn,EAST等方法。

上述方案都有著各自的一些缺點(diǎn)，其中：

方案一由于分為兩個(gè)獨(dú)立的階段，因而誤差容易放大，而且整個(gè)文檔圖像的尺寸在整圖中往往占比較大，整體文本的頂點(diǎn)定位誤差稍微高點(diǎn)，都會(huì)導(dǎo)致圖像矯正不夠好，因而整體性能往往會(huì)受到較大影響。

方案二因?yàn)樾枰獙?duì)每個(gè)條目的外接多邊形的四個(gè)頂點(diǎn)進(jìn)行標(biāo)注，而不像方案一只需要標(biāo)注整體文本的四個(gè)頂點(diǎn)，和文本條目的水平外接矩形標(biāo)注，因而標(biāo)注成本較大(注：實(shí)際樣本數(shù)據(jù)標(biāo)注過(guò)程中，水平外接矩形的標(biāo)注成本大大低于最小外接四邊形的成本)，且對(duì)內(nèi)容較多的，條目排列緊湊的文檔，往往出現(xiàn)定位錯(cuò)亂的情況，因而其整體性能不夠，在實(shí)際對(duì)精度要求較高的應(yīng)用場(chǎng)景中，現(xiàn)階段該方案成熟落地場(chǎng)景還較少。

發(fā)明內(nèi)容

針對(duì)上述現(xiàn)有技術(shù)中存在的不足之處，本發(fā)明以背景技術(shù)中的方案一為基礎(chǔ)，利用STN深度網(wǎng)絡(luò)模塊將方案一的兩個(gè)階段統(tǒng)一到一個(gè)網(wǎng)絡(luò)框架下，進(jìn)而發(fā)明了一種端到端的結(jié)合STN模塊的文本檢測(cè)深度學(xué)習(xí)方法及系統(tǒng)，相比于背景技術(shù)中的方案一，由于本發(fā)明的方案不存在兩個(gè)過(guò)程，因此本發(fā)明方案的整體性能有較大提高，而相比于背景技術(shù)中的方案二，本發(fā)明訓(xùn)練成本降低了很多，且實(shí)用場(chǎng)景下性能更加穩(wěn)定可靠。

具體地，該結(jié)合STN模塊的文本檢測(cè)深度學(xué)習(xí)方法，包括：

基于STN深度網(wǎng)絡(luò)模塊，對(duì)輸入圖片進(jìn)行圖像變換的相關(guān)變換矩陣參數(shù)進(jìn)行學(xué)習(xí)與估計(jì)，利用相關(guān)變換矩陣參數(shù)對(duì)圖像特征進(jìn)行矯正變換；

通過(guò)文本檢測(cè)算法對(duì)矯正變換后的圖像上的文本條目區(qū)域進(jìn)行定位檢測(cè)。

可選地，上述方法中，所述空間變換網(wǎng)絡(luò)的目標(biāo)設(shè)計(jì)為旋轉(zhuǎn)、防射、透視變換中的至少一種。