[發(fā)明專(zhuān)利]一種單據(jù)識(shí)別方法以及識(shí)別系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110495092.5
• 申請(qǐng)日: 2021-05-07
• 公開(kāi)（公告）號(hào): CN113205049A
• 公開(kāi)（公告）日: 2021-08-03
• 發(fā)明（設(shè)計(jì)）人: 王普;黃明飛;梁維斌
• 申請(qǐng)（專(zhuān)利權(quán)）人: 開(kāi)放智能機(jī)器（上海）有限公司
• 主分類(lèi)號(hào): G06K9/00
• 分類(lèi)號(hào): G06K9/00;G06K9/34;G06N3/04;G06N3/08
• 代理公司: 上海市匯業(yè)律師事務(wù)所 31325
• 代理人: 王函

1.一種單據(jù)識(shí)別方法，包括：

步驟一、對(duì)單據(jù)圖片進(jìn)行圖像增強(qiáng)處理；

步驟二、采用孿生神經(jīng)網(wǎng)絡(luò)，對(duì)增強(qiáng)的單據(jù)圖片進(jìn)行質(zhì)量評(píng)分，并將質(zhì)量評(píng)分不低于預(yù)定閾值的單據(jù)圖片認(rèn)定為待識(shí)別單據(jù)圖片；

步驟三、使用第一卷積神經(jīng)網(wǎng)絡(luò)CNN定位所述待識(shí)別單據(jù)圖片的四個(gè)角點(diǎn)，沿著四個(gè)角點(diǎn)摳取待識(shí)別區(qū)域；

步驟四、采用特征金字塔網(wǎng)絡(luò)FPN，對(duì)所述待識(shí)別區(qū)域進(jìn)行文本框檢測(cè)而獲得多個(gè)文本框；

步驟五、使用卷積遞歸神經(jīng)網(wǎng)絡(luò)CRNN以及時(shí)序分類(lèi)網(wǎng)絡(luò)CTC對(duì)檢測(cè)獲得的所述多個(gè)文本框進(jìn)行文本識(shí)別，得到每個(gè)文本框?qū)?yīng)的字符段；以及

步驟六、使用文本卷積神經(jīng)網(wǎng)絡(luò)TextCNN對(duì)識(shí)別得到的字符段進(jìn)行識(shí)別，得到各個(gè)字符段對(duì)應(yīng)的字符識(shí)別結(jié)果。

2.根據(jù)權(quán)利要求1所述的單據(jù)識(shí)別方法，其特征在于，所述步驟一中的所述圖像增強(qiáng)處理包括對(duì)待識(shí)別單據(jù)圖片進(jìn)行亮度調(diào)節(jié)、明暗度調(diào)節(jié)、飽和度調(diào)節(jié)、裁剪、拉伸、旋轉(zhuǎn)、仿射變換、透視變換中的至少一種處理。

3.根據(jù)權(quán)利要求1所述的單據(jù)識(shí)別方法，其特征在于，步驟二中對(duì)由于抖動(dòng)、機(jī)械運(yùn)行、光照因素造成所述質(zhì)量評(píng)分低于所述預(yù)定閾值的單據(jù)圖片停止識(shí)別；步驟二中的所述孿生神經(jīng)網(wǎng)絡(luò)包括主干網(wǎng)絡(luò)、以及與所述主干網(wǎng)絡(luò)串聯(lián)且相互并聯(lián)的第一卷積層及RELU層以及第二卷積層及RELU層，在訓(xùn)練時(shí)所述第一卷積層及RELU層以及第二卷積層及RELU層每次各被輸入第一圖片以及第二圖片，所述主干網(wǎng)絡(luò)輸出的維度為一的質(zhì)量得分，質(zhì)量得分與第一圖片以及第二圖片的熵函數(shù)之間的差值為最終的傳播損失，所述第一圖片的質(zhì)量分?jǐn)?shù)大于所述預(yù)定閾值，所述第二圖片的質(zhì)量分?jǐn)?shù)小于所述預(yù)定閾值；步驟二中將單據(jù)圖片與其質(zhì)量評(píng)分高于所述預(yù)定閾值的底庫(kù)圖片成對(duì)送入訓(xùn)練好的孿生神經(jīng)網(wǎng)絡(luò)中，所述孿生神經(jīng)網(wǎng)絡(luò)對(duì)應(yīng)輸出質(zhì)量得分，在質(zhì)量得分不低于所述預(yù)定閾值時(shí)，所述單據(jù)圖片被認(rèn)定為待識(shí)別單據(jù)圖片。

4.根據(jù)權(quán)利要求1所述的單據(jù)識(shí)別方法，其特征在于，步驟四中使用漸進(jìn)式規(guī)模擴(kuò)展網(wǎng)絡(luò)PSEnet對(duì)所述待識(shí)別區(qū)域進(jìn)行文本框檢測(cè)獲得多個(gè)文本框，所述PSEnet通過(guò)Resnet50殘差網(wǎng)絡(luò)提取所述待識(shí)別區(qū)域的特征，并利用FPN融合深層及底層的特征，得到特征圖p2、p3、p4以及p5，再通過(guò)對(duì)應(yīng)函數(shù)得到最終預(yù)測(cè)的融合特征F；所述PSEnet基于分割的方式，生成不同核尺寸的分割實(shí)例S1、S2、…、Sn，對(duì)文本框不同核大小做預(yù)測(cè)，采用漸進(jìn)式擴(kuò)展算法擴(kuò)展最小尺度核S1到最大尺度核Sn，從而獲得最終的檢測(cè)結(jié)果R。

5.根據(jù)權(quán)利要求1所述的單據(jù)識(shí)別方法，其特征在于，步驟五中所述CRNN包括卷積層、LSTM層以及轉(zhuǎn)錄層，所述卷積層自動(dòng)從所述多個(gè)文本框中提取圖像卷積特征，然后所述LSTM層進(jìn)一步提取圖像卷積特征中的序列特征，所述轉(zhuǎn)錄層進(jìn)行每幀預(yù)測(cè)并將得到的特征序列輸入到時(shí)序分類(lèi)網(wǎng)絡(luò)CTC由其對(duì)所述特征序列進(jìn)行預(yù)測(cè)而獲得對(duì)應(yīng)的字符段。

6.一種單據(jù)識(shí)別系統(tǒng)，包括：

單據(jù)增強(qiáng)處理模塊，其用于對(duì)單據(jù)圖片進(jìn)行圖像增強(qiáng)處理；

單據(jù)質(zhì)量分析模塊，其采用孿生神經(jīng)網(wǎng)絡(luò)，對(duì)增強(qiáng)的單據(jù)圖片進(jìn)行質(zhì)量評(píng)分，并將其質(zhì)量評(píng)分不低于預(yù)定閾值的單據(jù)圖片認(rèn)定為待識(shí)別單據(jù)圖片；

單據(jù)定位模塊，其使用第一卷積神經(jīng)網(wǎng)絡(luò)CNN定位待識(shí)別單據(jù)圖片的四個(gè)角點(diǎn)，沿著四個(gè)角點(diǎn)摳取待識(shí)別區(qū)域；

文本檢測(cè)模塊，其采用特征金字塔網(wǎng)絡(luò)FPN，對(duì)所述待識(shí)別區(qū)域進(jìn)行文本框檢測(cè)而獲得多個(gè)文本框；

文本識(shí)別模塊，其使用卷積遞歸神經(jīng)網(wǎng)絡(luò)CRNN以及時(shí)序分類(lèi)網(wǎng)絡(luò)CTC對(duì)檢測(cè)獲得的所述多個(gè)文本框進(jìn)行文本識(shí)別，得到每個(gè)文本框?qū)?yīng)的字符段；以及

NLP語(yǔ)義分類(lèi)模塊，其使用文本卷積神經(jīng)網(wǎng)絡(luò)TextCNN對(duì)識(shí)別得到的字符段進(jìn)行識(shí)別，得到各個(gè)字符段對(duì)應(yīng)的字符段識(shí)別結(jié)果。

7.根據(jù)權(quán)利要求6所述的單據(jù)識(shí)別系統(tǒng)，其特征在于，所述單據(jù)圖片處理模塊的所述圖像增強(qiáng)處理包括對(duì)待識(shí)別單據(jù)圖片進(jìn)行亮度調(diào)節(jié)、明暗度調(diào)節(jié)、飽和度調(diào)節(jié)、裁剪、拉伸、旋轉(zhuǎn)、仿射變換、透視變換中的至少一種處理。