[發明專利]圖像識別方法以及裝置

在審

• 申請號: 202310202854.7
• 申請日: 2023-02-28
• 公開（公告）號: CN116189201A
• 公開（公告）日: 2023-05-30
• 發明（設計）人: 夏伯謙;李亞東;王洪彬
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06V30/19
• 分類號: G06V30/19;G06V30/414;G06V30/18;G06V30/14;G06V10/82;G06N3/0464;G06N3/0455;G06N3/047;G06N3/09
• 代理公司: 北京智信禾專利代理有限公司 11637
• 代理人: 吳肖肖

本說明書實施例提供圖像識別方法以及裝置，其中所述圖像識別方法包括：獲取目標憑證圖像；將目標憑證圖像輸入憑證識別模型，通過憑證識別模型的編碼單元對目標憑證圖像進行編碼，獲得圖像布局特征以及字符特征，通過憑證識別模型的解碼單元對圖像布局特征和字符特征進行融合，對融合結果進行解碼，獲得憑證識別模型輸出的憑證行序列；對憑證行序列進行格式轉換，獲得目標憑證圖像對應的目標表格。實現了通過編碼單元和解碼單元的算法框架對目標憑證圖像中的圖像布局特征以及字符特征進行融合解碼，獲得憑證識別結果，避免了采用多個模型串聯的結構進行憑證識別，縮短了傳統憑證識別方法的模型鏈路，并降低了模型部署的成本。

技術領域

本說明書實施例涉及圖像處理技術領域，特別涉及圖像識別方法。

背景技術

數字化社會存在著大量的票據，比如發票，小票清單，若依賴人力進行票據的錄入，嚴重影響著企業的效率和成本。目前已經存在一些利用深度學習進行憑證識別的方法，但是這些方法大多鏈路很長，需要依賴眾多神經網絡算法模塊，比如OCR模塊、主體檢查模塊、表格檢測模塊等。這些神經網絡算法模塊將造成企業應用部署困難，并且眾多的算法模塊也會浪費大量GPU機器資源，帶來高昂的成本。因此，亟需提供一種解決上述問題的技術方案。

發明內容

有鑒于此，本說明書施例提供了兩種圖像識別方法。本說明書一個或者多個實施例同時涉及兩種圖像識別裝置，一種計算設備，一種計算機可讀存儲介質以及一種計算機程序，以解決現有技術中存在的技術缺陷。

根據本說明書實施例的第一方面，提供了一種圖像識別方法，包括：

獲取目標憑證圖像；

將所述目標憑證圖像輸入憑證識別模型，通過所述憑證識別模型的編碼單元對所述目標憑證圖像進行編碼，獲得圖像布局特征以及字符特征，通過所述憑證識別模型的解碼單元對所述圖像布局特征和所述字符特征進行融合，對融合結果進行解碼，獲得所述憑證識別模型輸出的憑證行序列；

對所述憑證行序列進行格式轉換，獲得所述目標憑證圖像對應的目標表格。

根據本說明書實施例的第二方面，提供了另一種圖像識別方法，包括：

獲取票據圖像；

將所述票據圖像輸入票據識別模型，通過所述票據識別模型的編碼單元對所述票據圖像進行編碼，獲得圖像布局特征以及字符特征，通過所述票據識別模型的解碼單元對所述圖像布局特征和所述字符特征進行融合，對融合結果進行解碼，獲得所述票據識別模型輸出的票據行序列；

對所述票據行序列進行格式轉換，獲得所述票據圖像對應的目標表格。

根據本說明書實施例的第三方面，提供了一種圖像識別裝置，包括：

第一獲取模塊，被配置為獲取目標憑證圖像；

第一識別模塊，被配置為將所述目標憑證圖像輸入憑證識別模型，通過所述憑證識別模型的編碼單元對所述目標憑證圖像進行編碼，獲得圖像布局特征以及字符特征，通過所述憑證識別模型的解碼單元對所述圖像布局特征和所述字符特征進行融合，對融合結果進行解碼，獲得所述憑證識別模型輸出的憑證行序列；

第一轉換模塊，被配置為對所述憑證行序列進行格式轉換，獲得所述目標憑證圖像對應的目標表格。

根據本說明書實施例的第四方面，提供了另一種圖像識別裝置，包括：

第二獲取模塊，被配置為獲取票據圖像；

第二識別模塊，被配置為將所述票據圖像輸入票據識別模型，通過所述票據識別模型的編碼單元對所述票據圖像進行編碼，獲得圖像布局特征以及字符特征，通過所述票據識別模型的解碼單元對所述圖像布局特征和所述字符特征進行融合，對融合結果進行解碼，獲得所述票據識別模型輸出的票據行序列；