[發(fā)明專利]基于注意力機(jī)制和生成對(duì)抗網(wǎng)絡(luò)的財(cái)務(wù)票據(jù)印章擦除方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110254233.4
• 申請(qǐng)日: 2021-03-09
• 公開（公告）號(hào): CN113065407B
• 公開（公告）日: 2022-07-12
• 發(fā)明（設(shè)計(jì)）人: 劉義江;陳蕾;侯棟梁;池建昆;范輝;閻鵬飛;魏明磊;李云超;姜琳琳;辛銳;陳曦;楊青;沈靜文;吳彥巧;姜敬;檀小亞;師孜晗
• 申請(qǐng)（專利權(quán)）人: 國(guó)網(wǎng)河北省電力有限公司;國(guó)網(wǎng)河北省電力有限公司雄安新區(qū)供電公司
• 主分類號(hào): G06V30/412
• 分類號(hào): G06V30/412;G06V30/18;G06V30/19;G06K9/62;G06Q40/00;G06N3/04
• 代理公司: 石家莊新世紀(jì)專利商標(biāo)事務(wù)所有限公司 13100
• 代理人: 董金國(guó);黃敬霞

本發(fā)明屬于票據(jù)文本識(shí)別領(lǐng)域，涉及一種基于注意力機(jī)制和生成對(duì)抗網(wǎng)絡(luò)的財(cái)務(wù)票據(jù)印章擦除方法，由處理器實(shí)現(xiàn)，其包含：接收所述財(cái)務(wù)票據(jù)的原始圖片；使用卷積神經(jīng)網(wǎng)絡(luò)中的特征提取模塊根據(jù)所述原始圖片確定其第一特征圖；使用所述卷積神經(jīng)網(wǎng)絡(luò)根據(jù)所述第一特征圖分別提取所述原始圖片的背景顏色圖和反應(yīng)印章在所述原始圖片上位置分布的注意力熱圖；并且，使用所述卷積神經(jīng)網(wǎng)絡(luò)根據(jù)所述原始圖片、背景顏色圖和注意力熱圖在通道方向上所拼接成的第二特征圖通過(guò)生成對(duì)抗方式生成所述原始圖片的擦除印章后的圖片；所述卷積神經(jīng)網(wǎng)絡(luò)使用生成對(duì)抗的方式實(shí)施訓(xùn)練。本發(fā)明解決包含印章的財(cái)務(wù)票據(jù)識(shí)別困難問(wèn)題，達(dá)到印章擦除卻不損失原始文字信息的目標(biāo)。

技術(shù)領(lǐng)域

本發(fā)明屬于圖卷積神經(jīng)網(wǎng)絡(luò)技術(shù)領(lǐng)域，尤其涉及一種從圖片中擦除并填補(bǔ)部分區(qū)域的方法。

背景技術(shù)

在財(cái)務(wù)票據(jù)報(bào)銷的計(jì)算機(jī)自動(dòng)化處理過(guò)程中，在處理流程的起點(diǎn)涉及對(duì)財(cái)務(wù)票據(jù)的數(shù)字化錄入，實(shí)物的財(cái)務(wù)票據(jù)包含了發(fā)票、火車票、飛機(jī)票，審批單等種類紛雜的業(yè)務(wù)單據(jù)。財(cái)務(wù)票據(jù)報(bào)銷數(shù)字化錄入采用的方法是通過(guò)掃描儀等圖像捕捉設(shè)備將財(cái)務(wù)票據(jù)掃描成數(shù)字圖像文件，再利用算法模型從數(shù)字圖片文件中檢測(cè)識(shí)別財(cái)務(wù)票據(jù)的內(nèi)容信息。一個(gè)實(shí)際面臨的問(wèn)題是，原始實(shí)物的財(cái)務(wù)票據(jù)基本都加蓋了印章，這些印章隨機(jī)的覆蓋、割裂、雜糅內(nèi)容信息，造成通過(guò)圖卷積神經(jīng)網(wǎng)絡(luò)檢測(cè)和識(shí)別財(cái)務(wù)票據(jù)的數(shù)字圖片文件中內(nèi)容信息的結(jié)果準(zhǔn)確率低下。

目前常見的票據(jù)印章擦除方法是基于圖像色彩通道的圖卷積處理，如依據(jù)RGB三通道信息將原始圖像切分為紅色，綠色和藍(lán)色三種通道灰度圖片，再利用人工設(shè)定或者學(xué)習(xí)訓(xùn)練獲得的閾值，將高于閾值的強(qiáng)制設(shè)置為白色，小于閾值的設(shè)置為黑色。中國(guó)專利公開CN108146093B提供的一種取出票據(jù)印章的方法也屬于該思路。現(xiàn)有技術(shù)基于圖像色彩通道的方法存在以下三個(gè)缺陷：首先由于每張圖片印章類型、大小，位置和背景復(fù)雜度的不同，每張圖片需要設(shè)定的閾值也不同，相同印刷色在不同光照條件下被采集獲得的顏色數(shù)據(jù)差別較大，同時(shí)，不能排除顏色與印章近似但非印章的文本內(nèi)容；其次僅通過(guò)通道閾值擦除印章的方法效果較差，無(wú)法完全去除印章內(nèi)容，為避免過(guò)量擦除影響被覆蓋文本的檢測(cè)識(shí)別，印章內(nèi)容的邊界判斷傾向于保守非貪婪的，因此通常會(huì)有明顯的印章痕跡留下；最后是無(wú)法確定印章位置進(jìn)而減小資源消耗，該類方法需要整體判斷整張圖片全尺寸的三色通道，會(huì)對(duì)整張圖片進(jìn)行印章擦除，這極大的消耗了算法運(yùn)行時(shí)間和計(jì)算資源。

發(fā)明內(nèi)容

本發(fā)明目的在于針對(duì)背景技術(shù)中目前方法的缺陷，提供一種基于深度學(xué)習(xí)中注意力機(jī)制和生成對(duì)抗網(wǎng)絡(luò)的方法以擦除財(cái)務(wù)票據(jù)中的印章，通過(guò)注意力機(jī)制和生成對(duì)抗網(wǎng)絡(luò)的方式專門解決包含印章的財(cái)務(wù)票據(jù)識(shí)別困難問(wèn)題，達(dá)到財(cái)務(wù)票據(jù)印章擦除卻不損失原始文字信息的目標(biāo),通過(guò)解決財(cái)務(wù)票據(jù)印章擦除問(wèn)題促進(jìn)財(cái)務(wù)辦公信息化，同時(shí)節(jié)約社會(huì)人力資源成本和簡(jiǎn)化報(bào)銷處理流程。

本發(fā)明多個(gè)實(shí)施例提供的技術(shù)方案是一種基于注意力機(jī)制和生成對(duì)抗網(wǎng)絡(luò)的財(cái)務(wù)票據(jù)印章擦除方法，由處理器實(shí)現(xiàn)，該方法包含：

接收所述財(cái)務(wù)票據(jù)的原始圖片；使用卷積神經(jīng)網(wǎng)絡(luò)中的特征提取模塊根據(jù)所述原始圖片確定其第一特征圖；使用所述卷積神經(jīng)網(wǎng)絡(luò)根據(jù)所述第一特征圖分別提取所述原始圖片的背景顏色圖和反應(yīng)印章在所述原始圖片上位置分布的注意力熱圖；并且，使用所述卷積神經(jīng)網(wǎng)絡(luò)根據(jù)所述原始圖片、背景顏色圖和注意力熱圖在通道方向上拼接的第二特征圖對(duì)所述原始圖片實(shí)施印章擦除。

優(yōu)選的，所述卷積神經(jīng)網(wǎng)絡(luò)的特征提取模塊配置為評(píng)估所述原始圖片在一色彩空間各通道分布的特征向量以組成與所述原始圖片長(zhǎng)寬相同的第一特征圖。

優(yōu)選的，所述卷積神經(jīng)網(wǎng)絡(luò)包含背景顏色分離模塊，其配置為，全局最大池化所述第一特征圖以確定所述原始圖片在通道方向上的一個(gè)一維特征向量，將所述一維特征向量映射于一色彩空間的坐標(biāo)值后復(fù)制所述坐標(biāo)值以創(chuàng)建與所述原始圖片長(zhǎng)寬相同的背景顏色圖。

優(yōu)選的，所述卷積神經(jīng)網(wǎng)絡(luò)包含：注意力機(jī)制模塊，其被配置為評(píng)估所述第一特征圖以評(píng)估反應(yīng)印章在所述原始圖片上位置分布的所述注意力熱圖。