[發(fā)明專利]圖像文獻結構化解析方法、系統(tǒng)、電子設備、存儲介質

在審

• 申請?zhí)枺?/td>: 202210255581.8
• 申請日: 2022-03-15
• 公開（公告）號: CN114708595A
• 公開（公告）日: 2022-07-05
• 發(fā)明（設計）人: 王則遠;劉鵬
• 申請（專利權）人: 靈犀量子（北京）醫(yī)療科技有限公司
• 主分類號: G06V30/40
• 分類號: G06V30/40;G06V10/774;G06V10/82;G06K9/62;G06N3/04
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 劉亞平

本發(fā)明提供一種圖像文獻結構化解析方法、系統(tǒng)、電子設備、存儲介質，所述方法包括：將圖像文獻內各頁圖像按順序拼接，獲得合成圖；基于預定的待剔除的文本內容信息，對合成圖中對應部分進行遮蓋處理；對合成圖進行版面整合，獲得待解析圖；將待解析圖輸入LX?BioLayoutLM模型，獲得帶有結構化標簽的解析文檔；其中，所述LX?BioLayoutLM模型基于BERT模型和LayoutLM模型，完成對待解析圖中圖像信息和文本信息的對齊。本發(fā)明實現(xiàn)批量地對圖像文獻進行結構化解析，便于對復雜場景下的文獻數(shù)據(jù)進行結構化提取。

技術領域

本發(fā)明涉及文獻處理技術領域，尤其涉及一種圖像文獻結構化解析方法、系統(tǒng)、電子設備、存儲介質。

背景技術

對于圖像文本內容的提取解析在很多實際生產場景中有著廣泛的需求，隨著基于人工智能的計算機視覺(Computer Vision)任務的相關算法技術蓬勃發(fā)展，利用AI技術進行圖像文本內容解析是一個十分具有價值和意義的方向。

在圖像文獻中通常包含標題、關鍵詞、摘要、正文、圖表、參考文獻等幾部分信息，如何在解析圖像文獻過程中，對文獻的各部分信息進行精準識別提取即圖像文獻頁面布局分析是一個十分重要的研究課題。

目前，對圖像文獻進行文本解析可以有多種不同的方式，比如可以通過使用Python語言的內置工具包，直接對圖像文獻中的文本進行解析輸出，但這種解析方式只是將圖像中的文本進行讀取，無法實現(xiàn)對每段文本進行按類別屬性進行分類識別且這類方法只能針對文本內容，無法解決圖表等非文本內容；還有的是通過采用一些圖像解析工具，通過上傳圖像文件進行圖像的拆分與內容識別，這種方式往往只是針對特定類型的圖像有效，且同樣無法實現(xiàn)圖像內容的結構化輸出。

因此，如何將圖像文獻中的內容以某種固定的規(guī)則進行結構化的提取成為了一個值得探究的方案。

發(fā)明內容

針對現(xiàn)有技術存在的問題，本發(fā)明提供一種圖像文獻結構化解析方法、系統(tǒng)、電子設備、存儲介質。

本發(fā)明提供的一種圖像文獻結構化解析方法，所述方法包括：

將圖像文獻內各頁圖像按順序拼接，獲得合成圖；

基于預定的待剔除的文本內容信息，對合成圖中對應部分進行遮蓋處理；

對合成圖進行版面整合，獲得待解析圖；

將待解析圖輸入LX-BioLayoutLM模型，獲得帶有結構化標簽的解析文檔；

其中，所述LX-BioLayoutLM模型基于BERT模型和LayoutLM模型，完成對待解析圖中圖像信息和文本信息的對齊。

根據(jù)本發(fā)明提供的一種圖像文獻結構化解析方法，所述將待解析圖輸入LX-BioLayoutLM模型，獲得帶有結構化標簽的解析文檔，之后包括：

將解析文檔中文本的長度和待解析圖中文本的長度作比較，獲得關于文本結構化的完整度；

若完整度超過預定閾值，將解析文檔確認為圖像文獻的結構化解析后的文檔。

根據(jù)本發(fā)明提供的一種圖像文獻結構化解析方法，所述若完整度超過預定閾值，將解析文檔確認為圖像文獻的結構化解析后的文檔，之后包括：

基于解析文檔中的結構化標簽，選中需要的若干標簽，將標簽對應的圖像文獻中的段落文本批量提取。

根據(jù)本發(fā)明提供的一種圖像文獻結構化解析方法，所述LX-BioLayoutLM模型的訓練數(shù)據(jù)集為結構化標記的圖像文獻。

根據(jù)本發(fā)明提供的一種圖像文獻結構化解析方法，所述LX-BioLayoutLM模型中的BERT模型部分，以待解析圖中的文本和文本對應的位置信息作為輸入，以體現(xiàn)文本語義理解的文本向量和表征文本段落與圖像間映射關系的位置嵌入向量作為輸出。