[發明專利]生成圖神經網絡模型的方法、裝置、設備及存儲介質

在審

• 申請號: 202210166630.0
• 申請日: 2022-02-23
• 公開（公告）號: CN114418124A
• 公開（公告）日: 2022-04-29
• 發明（設計）人: 田洪寶;付靖玲;裴積全
• 申請（專利權）人: 京東科技信息技術有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00;G06N3/04;G06N3/08;G06V20/62
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

本申請公開了一種生成圖神經網絡模型的方法、裝置、設備及存儲介質，涉及人工智能技術領域。該方法的一具體實施方式包括：獲取樣本憑證文件的圖數據，其中，圖數據包括：節點和邊，各個節點為樣本憑證文件中目標檢測框的目標樣本特征，邊為目標檢測框與其他檢測框之間的位置關系特征；利用目標樣本特征和位置關系特征與對應的字段類別標簽，對機器學習模型進行訓練，得到圖神經網絡模型。

技術領域

本申請涉及計算機技術領域，具體涉及人工智能技術領域，尤其涉及生成圖神經網絡模型的方法、裝置、設備及存儲介質。

背景技術

在日常應用中，總會有大量的憑證文件需要由專職人員進行處理、審批和管理；目前，通過文字識別算法只能得出憑證文件中每個位置的文字內容，無法確定每個文字內容具體屬于哪個字段。

現有技術中，通過文字識別算法識別出憑證文件中的內容，再根據內容的位置、正則表達式等方法提取出每個字段的具體內容。但，基于位置、正則匹配等方法，難以適應新的版面變化，魯棒性差。因此，面對復雜版式的變化，很難兼容各類版式，精度也比較低。

發明內容

本申請的實施例提出了生成圖神經網絡模型的方法、裝置、設備及存儲介質。

第一方面，本申請的實施例提供了一種生成圖神經網絡模型的方法，該方法包括：獲取樣本憑證文件的圖數據，其中，圖數據包括：節點和邊，各個節點為樣本憑證文件中目標檢測框的目標樣本特征，邊為目標檢測框與其他檢測框之間的位置關系特征；利用目標樣本特征和位置關系特征與對應的字段類別標簽，對機器學習模型進行訓練，得到圖神經網絡模型。

在一些實施例中，位置關系特征基于以下步驟確定：將樣本憑證文件輸入預設的文本行檢測網絡中，得到目標檢測框的坐標信息和其他檢測框的坐標信息；根據目標檢測框的坐標信息和其他檢測框的坐標信息，生成為目標向量；將目標向量作為位置關系特征。

在一些實施例中，根據目標檢測框的坐標信息和其他檢測框的坐標信息，生成為目標向量，包括：根據目標檢測框的坐標信息和其他檢測框的坐標信息，確定目標檢測框與其他檢測框之間的距離信息；將以下至少一項進行歸一化處理，得到目標向量：目標檢測框的坐標信息、其他檢測框的坐標信息、距離信息、目標檢測框的坐標信息之間的比值、其他檢測框的坐標信息之間的比值。

在一些實施例中，在一些實施例中，目標檢測框的類型為圖像；目標樣本特征基于以下步驟確定：獲取目標檢測框的視覺樣本特征和文本樣本特征；根據視覺樣本特征和文本樣本特征，生成目標樣本特征。

在一些實施例中，獲取目標檢測框的視覺樣本特征和文本樣本特征，包括：將樣本憑證文件中的目標檢測框輸入預設的視覺特征提取網絡中，得到視覺樣本特征；以及將樣本憑證文件中的目標檢測框內的文本輸入預設的文本特征提取網絡中，得到文本樣本特征。

在一些實施例中，根據視覺樣本特征和文本樣本特征，生成目標樣本特征，包括：利用克羅內克積將視覺樣本特征和文本樣本特征進行融合，得到目標樣本特征。

第二方面，本申請的實施例提供了一種文本識別方法，該方法包括：獲取待預測憑證文件中第一檢測框的坐標信息和第一檢測框內的目標文本信息；將坐標信息和目標文本信息輸入如第一方面描述的方法生成的圖神經網絡模型中，得到第一檢測框的字段類別，其中，第一檢測框的字段類別用于表征第一檢測框內目標文本信息所屬的類別。

在一些實施例中，獲取待預測憑證文件中第一檢測框的坐標信息和第一檢測框內的目標文本信息，包括：將待預測憑證文件輸入預設的文本行檢測網絡中，得到待預測憑證文件中第一檢測框的坐標信息；利用預設的文本識別網絡，對第一檢測框進行識別，得到第一檢測框內的目標文本信息。