[發明專利]一種基于深度學習的票證關鍵信息提取方法和裝置

在審

• 申請號: 202110295682.3
• 申請日: 2021-03-19
• 公開（公告）號: CN113065423A
• 公開（公告）日: 2021-07-02
• 發明（設計）人: 張賓;孫喜民;周晶;劉丹;王帥;李慧超
• 申請（專利權）人: 國網電子商務有限公司;國網電商科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/34;G06N3/04;G06N3/08
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 陳志海

1.一種基于深度學習的票證關鍵信息提取方法，其特征在于，包括：

將待審核圖像輸入至預先構建的目標檢測網絡中，經由所述目標檢測網絡對所述待審核圖像進行目標檢測，得到各個文本框圖像、以及各個所述文本框圖像的類別；

對各個所述文本框圖像進行文字識別，得到所述文本框圖像與文字信息之間的對應關系；

基于所述類別與審核項之間的預設對應關系、以及所述文本框圖像與文字信息之間的對應關系，確定所述審核項所對應的文字信息；

其中，所述目標檢測網絡對所述待審核圖像進行目標檢測的過程為：

利用預設的錨框修正結構，修正所述目標檢測網絡的錨框，使得所述錨框的旋轉角度與所述待審核圖像所示文字的旋轉角度之間的差值，不大于預設閾值；

利用預設的特征金字塔網絡，對所述待審核圖像進行特征提取，得到各個特征圖；

針對每個所述特征圖，在所述特征圖上使用所述錨框生成多個邊框，并對各個所述邊框進行后處理，得到每個所述特征圖的文本框圖像；

利用預設的分類器，識別各個所述文本框圖像的類別。

2.根據權利要求1所述的方法，其特征在于，所述目標檢測網絡的構建過程，包括：

構建訓練集；其中，所述訓練集包括樣本圖像、與所述樣本圖像對應的標注框、以及所述標注框的類別；

將所述樣本圖像輸入至預設的卷積神經網絡中，利用預設的損失函數和優化算法訓練所述卷積神經網絡，直至所述卷積神經網絡輸出的文本框圖像與所述標注框對應、以及輸出的類別與所述標注框的類別對應，確定當前訓練得到的卷積神經網絡為所述目標檢測網絡。

3.根據權利要求1所述的方法，其特征在于，所述錨框修正結構包括：

多個卷積層。

4.根據權利要求1所述的方法，其特征在于，所述特征金字塔網絡包括：

特征提取器。

5.根據權利要求4所述的方法，其特征在于，所述特征提取器包括：

多個卷積層。

6.根據權利要求1所述的方法，其特征在于，還包括：

將所述審核項與所述文字信息之間的對應關系存儲至本地。

7.一種基于深度學習的票證關鍵信息提取裝置，其特征在于，包括：

目標檢測單元，用于將待審核圖像輸入至預先構建的目標檢測網絡中，經由所述目標檢測網絡對所述待審核圖像進行目標檢測，得到各個文本框圖像、以及各個所述文本框圖像的類別；

文字識別單元，用于對各個所述文本框圖像進行文字識別，得到所述文本框圖像與文字信息之間的對應關系；

確定單元，用于基于所述類別與審核項之間的預設對應關系、以及所述文本框圖像與文字信息之間的對應關系，確定所述審核項所對應的文字信息；

其中，所述目標檢測網絡對所述待審核圖像進行目標檢測的過程為：

利用預設的錨框修正結構，修正所述目標檢測網絡的錨框，使得所述錨框的旋轉角度與所述待審核圖像所示文字的旋轉角度之間的差值，不大于預設閾值；利用預設的特征金字塔網絡，對所述待審核圖像進行特征提取，得到各個特征圖；針對每個所述特征圖，在所述特征圖上使用所述錨框生成多個邊框，并對各個所述邊框進行后處理，得到每個所述特征圖的文本框圖像；利用預設的分類器，識別各個所述文本框圖像的類別。

8.根據權利要求7所述的裝置，其特征在于，還包括：

存儲單元，用于將所述審核項與所述文字信息之間的對應關系存儲至本地。

9.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質包括存儲的程序，其中，所述程序執行權利要求1-6任一所述的基于深度學習的票證關鍵信息提取方法。

10.一種基于深度學習的票證關鍵信息提取設備，其特征在于，包括：處理器、存儲器和總線；所述處理器與所述存儲器通過所述總線連接；

所述存儲器用于存儲程序，所述處理器用于運行程序，其中，所述程序運行時執行權利要求1-6任一所述的基于深度學習的票證關鍵信息提取方法。