[發明專利]一種單據信息的識別方法及系統

在審

• 申請號: 201810917232.1
• 申請日: 2018-08-13
• 公開（公告）號: CN109241857A
• 公開（公告）日: 2019-01-18
• 發明（設計）人: 徐青松;李青
• 申請（專利權）人: 杭州睿琪軟件有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/34
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種單據信息的識別方法，其特征在于，包括：

基于所述單據的影像和預先訓練的第一模型，識別所述單據上的一個或多個區域中的每個區域，所述一個或多個區域中的每個區域與所述單據上記載的全部或部分信息相關聯，其中，所述第一模型是基于神經網絡的模型；

切割并獲取所述一個或多個區域中的每個區域的影像，所述一個或多個區域中的每個區域的影像是由平行于水平線的矩形或相對于水平線有傾斜的矩形來界定的；以及

基于所述一個或多個區域中的每個區域的影像、以及預先訓練的第二模型，識別所述一個或多個區域中的每個區域中的字符，從而確定所述單據上記載的信息，其中，所述第二模型是基于神經網絡的模型。

2.根據權利要求1所述的單據信息的識別方法，其特征在于，所述切割并獲取所述一個或多個區域中的每個區域的影像步驟后，響應于相對于水平線有傾斜的矩形，對所述每個區域的影像進行傾斜校正處理，并將處理后的每個區域的影像輸入所述第二模型，來識別所述一個或多個區域中的每個區域中的字符。

3.根據權利要求1所述的單據信息的識別方法，其特征在于，所述方法通過所述第二模型，基于所述一個或多個區域中的每個區域的影像以及其在整張單據中的位置，來識別所述一個或多個區域中的每個區域中的字符。

4.根據權利要求1所述的單據信息的識別方法，其特征在于，所述方法還包括：

基于所述單據的影像和所述第一模型，還識別與所述一個或多個區域中的每個區域相關聯的信息的信息類型；以及

基于識別出的與所述一個或多個區域中的每個區域相關聯的信息的所述信息類型、以及識別出的所述一個或多個區域中的每個區域中的所述字符，來確定所述單據上記載的信息。

5.根據權利要求1所述的單據信息的識別方法，其特征在于，在識別所述單據上的一個或多個區域中的每個區域之前，所述方法還包括：

基于所述單據的影像和預先訓練的第三模型，識別所述單據的類別，其中，所述第三模型是基于神經網絡的模型；以及

根據識別出的所述類別來選擇將要使用的所述第一模型和/或所述第二模型。

6.根據權利要求5所述的單據信息的識別方法，其特征在于，所述單據的類別至少包括語種。

7.根據權利要求1所述的單據信息的識別方法，其特征在于，所述第一模型通過如下過程得到：

對第一單據影像樣本訓練集中的每個單據影像樣本進行標注處理，以標注出每個所述單據影像樣本中的一個或多個區域中的每個區域，所述一個或多個區域中的每個區域與所述單據影像樣本中的全部或部分信息相關聯；以及

通過經過所述標注處理的所述第一單據影像樣本訓練集，對第一神經網絡進行訓練，以得到所述第一模型。

8.根據權利要求1所述的單據信息的識別方法，其特征在于，所述第二模型通過如下過程得到：

對第二單據影像樣本訓練集中的每個單據影像樣本進行標注處理，以標注出每個所述單據影像樣本中的一個或多個區域中的每個區域以及每個區域中的字符，所述一個或多個區域中的每個區域與所述單據影像樣本中的全部或部分信息相關聯；以及

通過經過所述標注處理的所述第二單據影像樣本訓練集，對第二神經網絡進行訓練，以得到所述第二模型。

9.根據權利要求5所述的單據信息的識別方法，其特征在于，所述第三模型通過如下過程得到：

對第三單據影像樣本訓練集中的每個單據影像樣本進行標注處理，以標注出每個所述單據影像樣本的類別；以及

通過經過所述標注處理的所述第三單據影像樣本訓練集，對第三神經網絡進行訓練，以得到所述第三模型。

10.根據權利要求7所述的單據信息的識別方法，其特征在于，所述第一神經網絡是基于深度殘差網絡建立的。

11.根據權利要求8所述的單據信息的識別方法，其特征在于，所述第二神經網絡是基于遞歸神經網絡建立的。