[發明專利]文檔圖像生成方法、文檔圖像識別方法、裝置及存儲介質

在審

• 申請號: 202210122791.X
• 申請日: 2022-02-09
• 公開（公告）號: CN114463239A
• 公開（公告）日: 2022-05-10
• 發明（設計）人: 司法
• 申請（專利權）人: 云從科技集團股份有限公司
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T7/11;G06V30/418;G06V30/20;G06N3/04;G06N3/08
• 代理公司: 北京瀚仁知識產權代理事務所(普通合伙) 11482
• 代理人: 屠曉旭;陳敏

1.一種文檔圖像生成方法，其特征在于，所述方法包括：

分別提取文檔圖像模板中每個目標語義類型的目標文本的文本圖像切片，并通過去除所述文檔圖像模板中的所述目標文本來生成背景圖像；

對每個目標文本的文本圖像切片分別生成相似的文本圖像切片，所述相似的文本圖像切片中的文本與相應目標文本的語義類型相同；

在所述背景圖像中每個目標文本各自對應的圖像區域上，將每個目標文本各自對應的相似的文本圖像切片與所述背景圖像進行圖像融合，以生成新的文檔圖像。

2.根據權利要求1所述的文檔圖像生成方法，其特征在于，“對每個目標文本的文本圖像切片分別生成相似的文本圖像切片”的步驟包括：

采用生成對抗網絡GAN對每個目標文本的文本圖像切片分別生成相似的文本圖像切片；

和/或，

所述相似的文本圖像切片中文本的文本屬性與相應目標文本的文本屬性不同，所述相似的文本圖像切片的圖像屬性與相應目標文本的文本圖像切片的圖像屬性不同；

其中，所述文本屬性包括語義內容和/或文本字體和/或文本顏色，所述圖像屬性包括表征圖像質量的圖像特征和/或表征圖像風格的圖像特征。

3.根據權利要求1所述的文檔圖像生成方法，其特征在于，所述方法還包括對每個目標文本的文本圖像切片分別生成多個相似的文本圖像切片，“在所述背景圖像中每個目標文本各自對應的圖像區域上，將每個目標文本各自對應的相似的文本圖像切片與所述背景圖像進行圖像融合，以生成新的文檔圖像”的步驟具體包括：

對所有相似的文本圖像切片進行多次不放回的隨機抽樣，每次隨機抽樣的結果包括每個目標文本各自對應的一個相似的文本圖像切片；

針對每次隨機抽樣的結果，在所述背景圖像中每個目標文本各自對應的圖像區域上，將當前隨機抽樣的結果中每個目標文本各自對應的一個相似的文本圖像切片與所述背景圖像進行圖像融合，以生成一個新的文檔圖像；

和/或，

“在所述背景圖像中每個目標文本各自對應的圖像區域上，將每個目標文本各自對應的相似的文本圖像切片與所述背景圖像進行圖像融合以生成新的文檔圖像”的步驟具體包括：

在所述背景圖像中每個目標文本各自對應的圖像區域上，將每個目標文本各自對應的相似的文本圖像切片與所述背景圖像進行圖像融合，并對所述圖像融合的融合位置進行位置擾動。

4.根據權利要求3所述的文檔圖像生成方法，其特征在于，“將當前隨機抽樣的結果中每個目標文本各自對應的一個相似的文本圖像切片與所述背景圖像進行圖像融合”的步驟具體包括：

采用泊松融合算法將當前隨機抽樣的結果中每個目標文本各自對應的一個相似的文本圖像切片與所述背景圖像進行圖像融合。

5.一種文檔圖像識別方法，其特征在于，所述方法包括：

采用權利要求1至4所述的文檔圖像生成方法，根據文檔圖像模板生成多個新的文檔圖像并將所述新的文檔圖像作為圖像樣本；

針對每個圖像樣本，分別獲取當前圖像樣本中每個目標語義類型的目標文本在當前圖像樣本中的圖像位置，并將每個目標文本各自對應的目標語義類型與圖像位置作為當前圖像樣本的樣本標簽；

根據所述圖像樣本及其樣本標簽對文檔圖像識別模型進行模型訓練；

采用訓練好的文檔圖像識別模型對文檔圖像進行文本識別。

6.根據權利要求5所述的文檔圖像識別方法，其特征在于，所述文檔圖像識別模型為基于光學字符識別OCR的模型。

7.一種文檔圖像生成裝置，其特征在于，所述裝置包括：

第一圖像處理模塊，其被配置成分別提取文檔圖像模板中每個目標語義類型的目標文本的文本圖像切片，并通過去除所述文檔圖像模板中的所述目標文本來生成背景圖像；

第二圖像處理模塊，其被配置成對每個目標文本的文本圖像切片分別生成相似的文本圖像切片，所述相似的文本圖像切片中的文本與相應目標文本的語義類型相同；

文檔圖像生成模塊，其被配置成在所述背景圖像中每個目標文本各自對應的圖像區域上，將每個目標文本各自對應的相似的文本圖像切片與所述背景圖像進行圖像融合，以生成新的文檔圖像。