[發(fā)明專利]發(fā)票信息抽取方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011487344.1
• 申請(qǐng)日: 2020-12-16
• 公開(kāi)（公告）號(hào): CN112541443A
• 公開(kāi)（公告）日: 2021-03-23
• 發(fā)明（設(shè)計(jì)）人: 何小臻
• 申請(qǐng)（專利權(quán)）人: 平安科技（深圳）有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62;G06N3/04;G06N3/08;G06F16/33;G06F40/109;G06F40/174
• 代理公司: 深圳市世聯(lián)合知識(shí)產(chǎn)權(quán)代理有限公司 44385
• 代理人: 汪琳琳

1.一種發(fā)票信息抽取方法，其特征在于，所述方法包括：

獲取票據(jù)圖像；

利用預(yù)訓(xùn)練的分離模型對(duì)所述票據(jù)圖像進(jìn)行圖層分離，得到機(jī)打圖像和印刷圖像，所述分離模型基于對(duì)抗生成網(wǎng)絡(luò)模型訓(xùn)練得到；

對(duì)所述機(jī)打圖像和印刷圖像分別采用對(duì)應(yīng)的預(yù)訓(xùn)練的識(shí)別模型進(jìn)行識(shí)別，將所述機(jī)打圖像和印刷圖像轉(zhuǎn)化為機(jī)打文本和印刷文本，所述識(shí)別模型基于卷積循環(huán)神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練得到；

將所述機(jī)打文本和印刷文本對(duì)應(yīng)匹配，以構(gòu)成票據(jù)文本。

2.根據(jù)權(quán)利要求1所述的發(fā)票信息抽取方法，其特征在于，在所述獲取票據(jù)圖像之前，還包括：

向數(shù)據(jù)庫(kù)發(fā)送調(diào)用請(qǐng)求，所述調(diào)用請(qǐng)求攜帶驗(yàn)簽令牌；

接收所述數(shù)據(jù)庫(kù)返回的驗(yàn)簽結(jié)果，并在驗(yàn)簽結(jié)果為通過(guò)時(shí)，調(diào)用所述數(shù)據(jù)庫(kù)中票據(jù)圖像；

所述驗(yàn)簽的方式為RSA非對(duì)稱加密方式。

3.根據(jù)權(quán)利要求1所述的發(fā)票信息抽取方法，其特征在于，在所述利用預(yù)訓(xùn)練的分離模型對(duì)所述票據(jù)圖像進(jìn)行圖層分離，得到機(jī)打圖像和印刷圖像之前，還包括：

收集票據(jù)數(shù)據(jù)及場(chǎng)景專用語(yǔ)料；

對(duì)所述票據(jù)數(shù)據(jù)進(jìn)行預(yù)處理，得到票據(jù)模板；

將所述場(chǎng)景專用語(yǔ)料根據(jù)屬性填入所述票據(jù)模板對(duì)應(yīng)區(qū)域，得到訓(xùn)練數(shù)據(jù)；

將所述訓(xùn)練數(shù)據(jù)輸入到對(duì)抗生成網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到所述分離模型。

4.根據(jù)權(quán)利要求3所述的發(fā)票信息抽取方法，其特征在于，在所述得到訓(xùn)練數(shù)據(jù)之后，還包括：

對(duì)隨機(jī)選取的部分訓(xùn)練數(shù)據(jù)進(jìn)行亮度或陰影變化處理，得到光照變化處理后的訓(xùn)練數(shù)據(jù)；和/或

利用高斯模糊或方框模糊，對(duì)隨機(jī)選取的部分訓(xùn)練數(shù)據(jù)進(jìn)行模糊處理，得到模糊變化處理后的訓(xùn)練數(shù)據(jù)；和/或

對(duì)隨機(jī)選取的部分訓(xùn)練數(shù)據(jù)進(jìn)行角度變化處理，得到形態(tài)變化處理后的訓(xùn)練數(shù)據(jù)。

5.根據(jù)權(quán)利要求1至4中任一項(xiàng)所述的發(fā)票信息抽取方法，其特征在于，在所述對(duì)所述機(jī)打圖像和印刷圖像分別采用對(duì)應(yīng)的預(yù)訓(xùn)練的識(shí)別模型進(jìn)行識(shí)別之前，還包括：

基于預(yù)訓(xùn)練的定位切割模型將所述機(jī)打圖像和印刷圖像分為多個(gè)區(qū)域圖像，并得到各個(gè)所述區(qū)域圖像對(duì)應(yīng)的區(qū)域坐標(biāo)，所述定位切割模型為基于DBNet模型訓(xùn)練得到。

6.根據(jù)權(quán)利要求5所述的發(fā)票信息抽取方法，其特征在于，所述將所述機(jī)打文本和印刷文本對(duì)應(yīng)匹配，以構(gòu)成票據(jù)文本包括：

基于所述區(qū)域坐標(biāo)，將所述機(jī)打文本中各第一區(qū)域文本與所述印刷文本中各第二區(qū)域文本進(jìn)行匹配；

在匹配完成后，基于所述區(qū)域坐標(biāo)，將所述第一區(qū)域文本填入對(duì)應(yīng)的所述第二區(qū)域文本中，以構(gòu)成票據(jù)文本。

7.根據(jù)權(quán)利要求5所述的發(fā)票信息抽取方法，其特征在于，所述將所述機(jī)打文本和印刷文本對(duì)應(yīng)匹配，以構(gòu)成票據(jù)文本包括：

利用預(yù)訓(xùn)練的匹配模型，將所述機(jī)打文本中的各區(qū)域文本與所述印刷文本中的各區(qū)域文本進(jìn)行匹配，得到匹配值，所述匹配模型基于BIMPM模型訓(xùn)練得到；

當(dāng)匹配值大于等于預(yù)設(shè)數(shù)值時(shí)，基于所述區(qū)域坐標(biāo)，將所述機(jī)打文本中的各區(qū)域文本填入所述印刷文本對(duì)應(yīng)的區(qū)域文本中，以構(gòu)成票據(jù)文本。

8.一種發(fā)票信息抽取裝置，其特征在于，所述裝置包括：

獲取模塊，用于獲取票據(jù)圖像；

分離模塊，用于利用預(yù)訓(xùn)練的分離模型對(duì)所述票據(jù)圖像進(jìn)行圖層分離，得到機(jī)打圖像和印刷圖像，所述分離模型基于對(duì)抗生成網(wǎng)絡(luò)模型訓(xùn)練得到；

識(shí)別模塊，用于對(duì)所述機(jī)打圖像和印刷圖像分別采用對(duì)應(yīng)的預(yù)訓(xùn)練的識(shí)別模型進(jìn)行識(shí)別，將所述機(jī)打圖像和印刷圖像轉(zhuǎn)化為機(jī)打文本和印刷文本，所述識(shí)別模型基于卷積循環(huán)神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練得到；

匹配模塊，用于將所述機(jī)打文本和印刷文本對(duì)應(yīng)匹配，以構(gòu)成票據(jù)文本。