[發明專利]圖像處理方法、裝置、電子設備及存儲介質

有效

• 申請號: 202210547469.1
• 申請日: 2022-05-19
• 公開（公告）號: CN114863450B
• 公開（公告）日: 2023-05-16
• 發明（設計）人: 庾悅晨;章成全;姚錕
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06V30/41
• 分類號: G06V30/41;G06V30/18;G06V10/82;G06N3/08;G06N3/0464
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 羅嵐

1.一種圖像處理方法，包括：

獲取初始文檔圖像，其中，所述初始文檔圖像包括：文本內容，所述文本內容包括：多個文本段；

對所述初始文檔圖像中第一文本段進行掩膜處理，并將掩膜處理所得初始文檔圖像作為參考文檔圖像，其中，所述第一文本段屬于所述多個文本段；

對所述參考文檔圖像進行特征識別，得到與多個尺寸信息分別對應的多個候選圖像特征；

從所述多個候選圖像特征中選取目標候選圖像特征，將所述目標候選圖像特征作為參考圖像特征，并將所述參考圖像特征作為目標圖像特征；

根據所述目標圖像特征，確定所述文本內容的目標文本特征；以及

根據所述目標文本特征，生成與所述文本內容對應的文本圖像；

其中，所述根據所述目標圖像特征，確定所述文本內容的目標文本特征，包括：

根據所述目標圖像特征，生成圖像特征向量；

根據所述圖像特征向量，確定第二文本段的文本語義特征，其中，所述第二文本段是所述多個文本段中未被掩膜處理的文本段；

根據所述第二文本段的文本語義特征，生成所述文本內容的語義模態特征；

根據所述目標圖像特征，生成所述文本內容的視覺模態特征；

融合所述語義模態特征和所述視覺模態特征，得到所述目標文本特征。

2.根據權利要求1所述的方法，其中，所述從所述多個候選圖像特征中選取目標候選圖像特征，包括：

確定與所述多個候選圖像特征分別對應的多個候選特征類型；

從所述多個候選特征類型中確定目標特征類型；

將所述目標特征類型所屬候選圖像特征作為所述目標候選圖像特征。

3.根據權利要求1所述的方法，其中，所述根據所述第二文本段的文本語義特征，生成所述文本內容的語義模態特征，包括：

對所述第二文本段的文本語義特征進行維度轉換，得到多維語義特征；

對所述多維語義特征進行上采樣處理，得到采樣語義特征；

將所述采樣語義特征作為所述語義模態特征。

4.根據權利要求1所述的方法，其中，所述根據所述目標圖像特征，生成所述文本內容的視覺模態特征，包括：

根據所述目標圖像特征和其他候選圖像特征，生成所述文本內容的視覺模態特征，其中，所述目標圖像特征和所述其他候選圖像特征共同組成所述多個候選圖像特征。

5.根據權利要求4所述的方法，其中，所述根據所述目標圖像特征和其他候選圖像特征，生成所述文本內容的視覺模態特征，包括：

生成與所述目標圖像特征對應的第一視覺模態特征；

生成與所述其他候選圖像特征對應的第二視覺模態特征；

融合所述第一視覺模態特征和所述第二視覺模態特征，得到所述文本內容的視覺模態特征。

6.根據權利要求1-5任一項所述的方法，其中，所述根據所述目標文本特征，生成與所述文本內容對應的文本圖像，包括：

根據所述目標文本特征，生成與所述第一文本段對應的局部文本特征；

獲取所述第一文本段的文本語義特征；

根據所述局部文本特征和所述第一文本段的文本語義特征，生成與所述文本內容對應的文本圖像。