[發(fā)明專利]一種文檔實(shí)體抽取方法、系統(tǒng)及計(jì)算機(jī)存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210902548.X
• 申請(qǐng)日: 2022-07-29
• 公開(kāi)（公告）號(hào): CN114973265A
• 公開(kāi)（公告）日: 2022-08-30
• 發(fā)明（設(shè)計(jì)）人: 馬永亮;秦晉;周明
• 申請(qǐng)（專利權(quán)）人: 北京瀾舟科技有限公司
• 主分類號(hào): G06V30/148
• 分類號(hào): G06V30/148;G06V30/418;G06F40/295
• 代理公司: 深圳市智享知識(shí)產(chǎn)權(quán)代理有限公司 44361
• 代理人: 馮彬彬

本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域，特別涉及一種文檔實(shí)體抽取方法、系統(tǒng)及計(jì)算機(jī)存儲(chǔ)介質(zhì)，包括以下步驟：獲取文檔，對(duì)文檔進(jìn)行預(yù)處理得到文檔中的文本、文本位置和文檔圖片；獲取預(yù)設(shè)問(wèn)題，所述預(yù)設(shè)問(wèn)題對(duì)應(yīng)至少一個(gè)未知實(shí)體，對(duì)文本、文本位置和文檔圖片進(jìn)行向量化編碼并拼接得到文本表示矩陣，并基于文本表示矩陣獲得至少一對(duì)對(duì)應(yīng)于預(yù)設(shè)問(wèn)題中未知實(shí)體的開(kāi)始位置和結(jié)束位置的組合；判斷每對(duì)組合中的開(kāi)始位置和結(jié)束位置是否匹配，若是，抽取該開(kāi)始位置和結(jié)束位置之間的文本作為對(duì)應(yīng)未知實(shí)體的實(shí)體抽取結(jié)果。通過(guò)利用文本、布局和圖像等各個(gè)特征的信息，來(lái)減少一些特征對(duì)實(shí)體抽取結(jié)果的錯(cuò)誤影響，提高實(shí)體抽取的準(zhǔn)確度。

技術(shù)領(lǐng)域

本發(fā)明涉及文檔解析領(lǐng)域，其特別涉及一種文檔實(shí)體方法、系統(tǒng)及計(jì)算機(jī)存儲(chǔ)介質(zhì)。

背景技術(shù)

目前針對(duì)文檔解析技術(shù)有基于啟發(fā)式規(guī)則的，也有基于深度學(xué)習(xí)的方法，其中基于啟發(fā)式規(guī)則的方法需要大量的人工參與，基于經(jīng)驗(yàn)總結(jié)規(guī)則，而通常得到的規(guī)則并沒(méi)有很好的泛化性，這通常導(dǎo)致當(dāng)換一個(gè)領(lǐng)域的文檔，總結(jié)的規(guī)則往往就失效了；而目前其他基于深度學(xué)習(xí)的方法，大都是基于單一模態(tài)深度學(xué)習(xí)網(wǎng)絡(luò)模型，或者進(jìn)行多模態(tài)的簡(jiǎn)單組合，它們通常依賴于人工標(biāo)記的訓(xùn)練樣本，而不能充分利用大規(guī)模未標(biāo)記樣本進(jìn)行訓(xùn)練，或者依賴預(yù)訓(xùn)練的圖像模型或自然語(yǔ)言模型，并不考慮文本、布局和圖像信息的聯(lián)合訓(xùn)練，以及不同模態(tài)的作用強(qiáng)度，同時(shí)針對(duì)單個(gè)文本對(duì)應(yīng)多個(gè)實(shí)體的情況，現(xiàn)有方法不能很好的解決。

發(fā)明內(nèi)容

為了解決實(shí)體抽取不精準(zhǔn)的問(wèn)題，本發(fā)明提供一種文檔實(shí)體抽取方法、系統(tǒng)及計(jì)算機(jī)存儲(chǔ)介質(zhì)。

本發(fā)明為解決上述技術(shù)問(wèn)題，提供如下的技術(shù)方案：一種文檔實(shí)體抽取方法，包括以下步驟：

獲取文檔，對(duì)文檔進(jìn)行預(yù)處理得到文檔中的文本、文本位置和文檔圖片；

獲取預(yù)設(shè)問(wèn)題，所述預(yù)設(shè)問(wèn)題對(duì)應(yīng)至少一個(gè)未知實(shí)體，對(duì)文本、文本位置和文檔圖片進(jìn)行向量化編碼并拼接得到文本表示矩陣，并基于文本表示矩陣獲得至少一對(duì)對(duì)應(yīng)于預(yù)設(shè)問(wèn)題中未知實(shí)體的開(kāi)始位置和結(jié)束位置的組合；

判斷每對(duì)組合中的開(kāi)始位置和結(jié)束位置是否匹配，若是，抽取該開(kāi)始位置和結(jié)束位置之間的文本作為對(duì)應(yīng)未知實(shí)體的實(shí)體抽取結(jié)果。

優(yōu)選地，利用pdf解析工具和/或OCR技術(shù)對(duì)文檔進(jìn)行預(yù)處理。

優(yōu)選地，對(duì)文本、文本位置和文檔圖片進(jìn)行向量化編碼并拼接得到文本表示矩陣，并基于文本表示矩陣獲得至少一對(duì)對(duì)應(yīng)于預(yù)設(shè)問(wèn)題中未知實(shí)體的開(kāi)始位置和結(jié)束位置的組合包括以下步驟：

基于多模態(tài)預(yù)訓(xùn)練模型，分別對(duì)文本、文本位置和文檔圖片進(jìn)行特征向量化編碼獲得文本向量、布局向量以及視覺(jué)向量，按照預(yù)設(shè)規(guī)則進(jìn)行拼接得到N*D維的文本表示矩陣，其中N表示文本token的數(shù)量，D表示每一個(gè)文本token的維度；

基于文本表示矩陣，判斷每個(gè)文本token是否是對(duì)應(yīng)于預(yù)設(shè)問(wèn)題中未知實(shí)體的開(kāi)始位置或結(jié)束位置，得到至少一個(gè)備選的開(kāi)始位置和至少一個(gè)備選的結(jié)束位置；

對(duì)上述判斷得到的備選的開(kāi)始位置和結(jié)束位置進(jìn)行兩兩組合。

優(yōu)選地，基于多模態(tài)預(yù)訓(xùn)練模型，分別對(duì)文本、文本位置和文檔圖片進(jìn)行特征向量化編碼獲得文本向量、布局向量以及視覺(jué)向量包括以下具體步驟：

對(duì)應(yīng)文本采用WordPiece得到文本token，并對(duì)應(yīng)各文本token生成文本向量；

基于使用ResNet-FPN作為視覺(jué)編碼器的主干網(wǎng)絡(luò)，將文檔圖片縮放到預(yù)定大小并由主干網(wǎng)絡(luò)通過(guò)平均池化轉(zhuǎn)化為固定尺寸，之后展平獲得視覺(jué)向量；

布局向量采用視覺(jué)的邊界框進(jìn)行表示，將文本位置以坐標(biāo)形式表示并縮放到0-1000之間，使用兩個(gè)向量層去編碼x軸和y軸的位置特征，基于標(biāo)準(zhǔn)化的第i個(gè)文本/視覺(jué)標(biāo)記的邊界框布局向量層把邊界框特征拼接起來(lái)構(gòu)成布局向量。

優(yōu)選地，按照預(yù)設(shè)規(guī)則進(jìn)行拼接是先將文本向量、布局向量在維度為1的方向進(jìn)行拼接，再將視覺(jué)向量與拼接后的文本向量和布局向量在維度為0的方向進(jìn)行拼接。