[發明專利]建立票據類型識別模型與識別票據類型的方法、裝置

有效

• 申請號: 202110262267.8
• 申請日: 2021-03-10
• 公開（公告）號: CN113033534B
• 公開（公告）日: 2023-07-25
• 發明（設計）人: 李煜林;張曉強;欽夏孟;章成全;姚錕
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06V30/14
• 分類號: G06V30/14;G06V30/146;G06V30/18;G06V30/19;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 北京鴻德海業知識產權代理有限公司 11412
• 代理人: 田宏賓

1.一種建立票據類型識別模型的方法，包括：

獲取訓練數據，所述訓練數據中包含多個票據圖像以及對應各票據圖像的標注類型；

對所述多個票據圖像進行文本檢測，分別確定各票據圖像中的文本框以及各文本框的位置信息和文本信息；

構建包含多模態特征提取模塊的神經網絡模型，所述多模態特征提取模塊用于根據票據圖像、票據圖像中各文本框的位置信息和文本信息來提取各文本框的區域特征、位置特征和文本特征，以得到票據圖像的多模態特征；

使用各票據圖像、各票據圖像中各文本框的位置信息和文本信息、以及對應各票據圖像的標注類型對所述神經網絡模型進行訓練，直至所述神經網絡模型收斂，得到票據類型識別模型；

所述構建包含多模態特征提取模塊的神經網絡模型包括：

構建包含多模態特征提取模塊、特征編碼模塊和特征解碼模塊的神經網絡模型；

其中，所述特征編碼模塊用于對所述多模態特征進行編碼得到編碼特征，所述特征解碼模塊用于對所述編碼特征進行解碼得到解碼特征；

所述特征解碼模塊對所述編碼特征進行解碼得到解碼特征包括：

獲取票據圖像的特征圖；

對所述特征圖進行壓縮，將壓縮結果作為查詢向量；

將所述編碼特征和所述查詢向量輸入所述特征解碼模塊，將所述特征解碼模塊的輸出結果作為所述解碼特征。

2.根據權利要求1所述的方法，其中，所述多模態特征提取模塊根據票據圖像、票據圖像中各文本框的位置信息和文本信息來提取各文本框的區域特征、位置特征和文本特征，以得到票據圖像的多模態特征包括：

提取票據圖像的特征圖；

將所述特征圖中各文本框所在區域的特征，作為各文本框的區域特征；

對各文本框的位置信息進行位置編碼，將編碼結果作為各文本框的位置特征；

對各文本框的文本信息進行文本編碼，將編碼結果作為各文本框的文本特征；

分別將各文本框的區域特征、位置特征和文本特征進行拼接之后，將各文本框的特征拼接結果作為票據圖像的多模態特征。

3.根據權利要求1所述的方法，其中，所述特征編碼模塊對所述多模態特征進行編碼得到編碼特征包括：

按照預設順序對票據圖像中的各文本框進行排序，確定各文本框對應的排序序號；

分別將各文本框對應的排序序號與所述多模態特征中各文本框的特征拼接結果進行拼接之后，得到更新多模態特征；

將所得到的更新多模態特征輸入所述特征編碼模塊，將所述特征編碼模塊的輸出結果作為所述編碼特征。

4.一種識別票據類型的方法，包括：

獲取待識別票據圖像；

對所述待識別票據圖像進行文本檢測，確定所述待識別票據圖像中的文本框以及各文本框的位置信息和文本信息：

將所述待識別票據圖像、所述待識別票據圖像中各文本框的位置信息和文本信息作為票據類型識別模型的輸入，將所述票據類型識別模型的輸出結果作為所述待識別票據圖像的類型；

其中，所述票據類型識別模型是根據權利要求1-3中任一項方法預先訓練得到的。