[發明專利]一種票據類圖像版面解析方法及裝置

有效

• 申請號: 202110949153.0
• 申請日: 2021-08-18
• 公開（公告）號: CN113657279B
• 公開（公告）日: 2023-05-05
• 發明（設計）人: 丁大強;李蒙陽;石海濤;胡安裕
• 申請（專利權）人: 北京玖安天下科技有限公司
• 主分類號: G06V30/412
• 分類號: G06V30/412;G06V30/19;G06T3/40
• 代理公司: 北京啟知服知識產權代理有限公司 11549
• 代理人: 韓榮

1.一種票據類圖像版面解析方法，其特征在于，包括以下步驟：

（s1）準備用于模型訓練的訓練版面樣本，進行人工標注；采用數據增廣策略，對訓練版面樣本進行數據增廣；其中，所述數據增廣策略包括以下方法中的一種或多種：

隨機擾動所述訓練版面樣本中檢測框的坐標點；

隨機丟棄所述訓練版面樣本中的一個或多個檢測框；

隨機切分所述檢測框，并隨機拆分所述檢測框中的文本；

隨機替換所述檢測框中的文本內容；

（s2）對訓練版面樣本中文本框進行特征編碼，所述特征編碼至少包括所述文本框的坐標特征和文本特征；其中，對訓練版面樣本中文本框進行特征編碼時，對所述坐標特征進行維度拉伸；

（s3）將所述文本框的坐標特征與文本特征進行特征拼接，形成所述文本框的拼接特征；將訓練版面樣本中的多個候選框的所述拼接特征進行拼接，形成所述訓練版面樣本的特征序列向量；

（s4）利用所述訓練版面樣本的特征序列向量對模型進行訓練，獲得版面解析模型；其中，所述模型為seq2seq+attention模型；

（s5）對于待解析版面，采用與上述步驟（s2）至（s3）相同的方法，獲得所述待解析版面的特征序列向量；將所述待解析版面的特征序列向量輸入所述版面解析模型，獲得所述待解析版面的解析結果。

2.根據權利要求1所述的票據類圖像版面解析方法，其特征在于，步驟（s2）中所述文本特征包括以下信息中的一種或多種：數字占比、英文占比、符號占比、其他字符占比。

3.一種票據類圖像版面解析裝置，其特征在于：基于權利要求1-2中任一權利要求所述方法，包括：

訓練版面樣本標注模塊，用于對訓練樣本進行標注；還用于采取數據增廣策略，對訓練版面樣本進行數據增廣；其中，所述數據增廣策略包括以下方法中的一種或多種：隨機擾動所述訓練版面樣本中檢測框的坐標點；隨機丟棄所述訓練版面樣本中的一個或多個檢測框；隨機切分所述檢測框，并隨機拆分所述檢測框中的文本；隨機替換所述檢測框中的文本內容；

文本框特征編碼模塊，用于對所述文本框進行特征編碼；其中，對所述文本框進行特征編碼時，對所述坐標特征進行維度拉伸；

特征序列向量拼接模塊，用于將所述文本框特征編碼拼接為訓練版面樣本的特征序列向量；

模型訓練模塊，用于利用訓練版面樣本的特征序列向量，訓練并獲得版面解析模型；其中，所述版面解析模型為seq2seq+attention模型；以及，

版面解析模塊，用于利用版面解析模型，對待解析版面進行解析，獲得所述待解析版面的解析結果。

4.一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執行所述程序時實現如權利要求1至2任一項所述方法的步驟。

5.一種非暫態計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，該計算機程序被處理器執行時實現如權利要求1至2任一項所述方法的步驟。