[發明專利]用于票據圖像分類的方法、裝置、設備及可讀存儲介質

在審

• 申請號: 202010595991.8
• 申請日: 2020-06-28
• 公開（公告）號: CN111753744A
• 公開（公告）日: 2020-10-09
• 發明（設計）人: 杜泓江;龐敏輝;謝國斌;陳興波;李丹青;曲福;韓光耀;馮博豪;楊艦
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/20;G06K9/46;G06K9/62;G06N20/00
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

1.一種用于票據圖像分類的方法，包括：

獲取待分類票據圖像；

利用多線程技術同時對所述待分類票據圖像進行預設的圖像分類操作、光學字符識別OCR識別操作、手寫識別操作，對應得到圖像分類結果、OCR識別結果和手寫識別結果；其中，所述手別識別操作基于由多個子模型結合投票機制構建出的手寫識別模型完成，每個所述子模型基于不同的手寫票據特征構建得到；

根據所述圖像分類結果、所述OCR識別結果和所述手寫識別結果中的至少一項確定所述待分類票據圖像的實際類別。

2.根據權利要求1所述的方法，其中，對所述待分類票據圖像進行預設的手寫識別操作，得到手寫識別結果，包括：

從所述待分類票據圖像中提取得到筆跡特征、機打格式特征、涂抹特征；

將所述筆跡特征、所述機打格式特征、所述涂抹特征分別對應輸入所述手寫識別模型的筆跡識別子模型、機打格式識別子模型和所述涂抹識別子模型，對應得到筆跡識別結果、機打格式識別結果、涂抹識別結果；

通過至少一個預設的投票模型對所述筆跡識別結果、所述機打格式識別結果和所述涂抹識別結果進行手寫票據投票，并將得到的投票結果作為所述手寫識別結果。

3.根據權利要求2所述的方法，其中，所述投票模型包括以下至少一項：隨機森林模型、LightGBM決策樹模型、XGBOOTST決策樹模型；

對應的，當所述投票模型的數量大于1時，還包括：

對不同的投票模型的手寫票據投票結果進行加權處理。

4.根據權利要求1所述的方法，其中，對所述待分類票據圖像進行預設的圖像分類操作，得到圖像分類結果，包括：

將所述待分類票據圖像輸入預設的圖像分類模型；

利用所述圖像分類模型中的殘差網絡進行特征提取，得到實際特征；

利用所述圖像分類模型中的語義表示子模型對所述實際特征進行語義表示處理，得到語義表示特征；

利用所述圖像分類模型中的多元分類網絡處理所述語義表示特征，并將得到的處理結果作為所述圖像分類結果。

5.根據權利要求1至4任一項所述的方法，其中，根據所述圖像分類結果、所述OCR識別結果和所述手寫識別結果中的至少一項確定所述待分類票據圖像的實際類別，包括：

當所述OCR識別結果為無文本內容時，確定所述待分類票據圖像為非票據圖像；

當所述OCR識別結果為有文本內容、所述手寫識別結果為存在手寫特征時，確定所述待分類票據圖像為手寫票據；

當所述OCR識別結果為有文本內容、所述手寫識別結果為不存在手寫特征時，確定所述待分類票據圖像為機打票據，并將所述圖像分類結果作為所述機打票據的真實類別。

6.根據權利要求5所述的方法，還包括：

利用預設的專家知識庫確定所述機打票據是否為增值稅發票；

若所述機打票據為所述增值稅發票，則確定將所述圖像分類結果作為所述增值稅發票的真實類別。

7.一種用于票據圖像分類的裝置，包括：

待分類票據圖像獲取單元，被配置成獲取待分類票據圖像；

并行識別單元，被配置成利用多線程技術同時對所述待分類票據圖像進行預設的圖像分類操作、光學字符識別OCR識別操作、手寫識別操作，對應得到圖像分類結果、OCR識別結果和手寫識別結果；其中，所述手別識別操作基于由多個子模型結合投票機制構建出的手寫識別模型完成，每個所述子模型基于不同的手寫票據特征構建得到；

實際類別確定單元，被配置成根據所述圖像分類結果、所述OCR識別結果和所述手寫識別結果中的至少一項確定所述待分類票據圖像的實際類別。