[發明專利]圖像文獻結構化解析方法、系統、電子設備、存儲介質

在審

• 申請號: 202210255581.8
• 申請日: 2022-03-15
• 公開（公告）號: CN114708595A
• 公開（公告）日: 2022-07-05
• 發明（設計）人: 王則遠;劉鵬
• 申請（專利權）人: 靈犀量子（北京）醫療科技有限公司
• 主分類號: G06V30/40
• 分類號: G06V30/40;G06V10/774;G06V10/82;G06K9/62;G06N3/04
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 劉亞平

1.一種圖像文獻結構化解析方法，其特征在于，所述方法包括：

將圖像文獻內各頁圖像按順序拼接，獲得合成圖；

基于預定的待剔除的文本內容信息，對合成圖中對應部分進行遮蓋處理；

對合成圖進行版面整合，獲得待解析圖；

將待解析圖輸入LX-BioLayoutLM模型，獲得帶有結構化標簽的解析文檔；

其中，所述LX-BioLayoutLM模型基于BERT模型和LayoutLM模型，完成對待解析圖中圖像信息和文本信息的對齊。

2.根據權利要求1所述的圖像文獻結構化解析方法，其特征在于，所述將待解析圖輸入LX-BioLayoutLM模型，獲得帶有結構化標簽的解析文檔，之后包括：

將所述解析文檔中文本的長度和所述待解析圖中文本的長度作比較，獲得關于文本結構化的完整度；

若完整度超過預定閾值，將所述解析文檔確認為所述圖像文獻的結構化解析后的文檔。

3.根據權利要求2所述的圖像文獻結構化解析方法，其特征在于，所述若完整度超過預定閾值，將所述解析文檔確認為所述圖像文獻的結構化解析后的文檔，之后包括：

基于所述解析文檔中的結構化標簽，選中需要的若干標簽，將標簽對應的圖像文獻中的段落文本批量提取。

4.根據權利要求1所述的圖像文獻結構化解析方法，其特征在于，所述LX-BioLayoutLM模型的訓練數據集為結構化標記的圖像文獻。

5.根據權利要求1所述的圖像文獻結構化解析方法，其特征在于，所述LX-BioLayoutLM模型中的BERT模型部分，以待解析圖中的文本和文本對應的位置信息作為輸入，以體現文本語義理解的文本向量和表征文本段落與圖像間映射關系的位置嵌入向量作為輸出。

6.根據權利要求5所述的圖像文獻結構化解析方法，其特征在于，所述LX-BioLayoutLM模型中的LayoutLM模型部分，以待解析圖、待解析圖中的文本和文本對應的位置信息作為輸入，以字符級的2D位置嵌入向量和體現圖像特征信息的圖像嵌入向量作為輸出。

7.根據權利要求6所述的圖像文獻結構化解析方法，其特征在于，所述LX-BioLayoutLM模型包括圖像對齊層，所述圖像對齊層以所述待解析圖、體現文本語義理解的文本向量、表征文本段落與圖像間映射關系的位置嵌入向量、字符級的2D位置嵌入向量、體現圖像特征信息的圖像嵌入向量作為輸入，以帶有結構化標簽的解析文檔作為輸出。

8.一種圖像文獻結構化解析系統，其特征在于，所述系統包括：

圖像合成模塊，所述圖像合成模塊將圖像文獻內各頁圖像按順序拼接，獲得合成圖；

自定義信息剔除模塊，所述自定義信息剔除模塊基于預定的待剔除的文本內容信息，對合成圖中對應部分進行遮蓋處理；

圖像版面重置模塊，所述圖像版面重置模塊對合成圖進行版面整合，獲得待解析圖；

解析模塊，所述解析模塊將待解析圖輸入LX-BioLayoutLM模型，獲得帶有結構化標簽的解析文檔；

其中，所述LX-BioLayoutLM模型基于BERT模型和LayoutLM模型，完成對待解析圖中圖像信息和文本信息的對齊。

9.一種電子設備，包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，其特征在于，所述處理器執行所述程序時實現如權利要求1-7中任一項所述圖像文獻結構化解析方法的步驟。

10.一種非暫態計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現如權利要求1-7中任一項所述圖像文獻結構化解析方法的步驟。