[發明專利]圖像識別方法以及裝置

在審

• 申請號: 202310202854.7
• 申請日: 2023-02-28
• 公開（公告）號: CN116189201A
• 公開（公告）日: 2023-05-30
• 發明（設計）人: 夏伯謙;李亞東;王洪彬
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06V30/19
• 分類號: G06V30/19;G06V30/414;G06V30/18;G06V30/14;G06V10/82;G06N3/0464;G06N3/0455;G06N3/047;G06N3/09
• 代理公司: 北京智信禾專利代理有限公司 11637
• 代理人: 吳肖肖

1.一種圖像識別方法，包括：

獲取目標憑證圖像；

將所述目標憑證圖像輸入憑證識別模型，通過所述憑證識別模型的編碼單元對所述目標憑證圖像進行編碼，獲得圖像布局特征以及字符特征，通過所述憑證識別模型的解碼單元對所述圖像布局特征和所述字符特征進行融合，對融合結果進行解碼，獲得所述憑證識別模型輸出的憑證行序列；

對所述憑證行序列進行格式轉換，獲得所述目標憑證圖像對應的目標表格。

2.根據如權利要求1所述的圖像識別方法，所述通過所述憑證識別模型的解碼單元對所述圖像布局特征和所述字符特征進行融合，對融合結果進行解碼，獲得所述憑證識別模型輸出的憑證行序列，包括：

通過所述憑證識別模型中解碼單元的交叉注意力層，對所述圖像布局特征和所述字符特征進行融合，獲得融合特征；

通過所述解碼單元中的解碼層，對所述融合特征進行解碼，獲得所述憑證識別模型輸出的憑證行序列。

3.根據如權利要求1所述的圖像識別方法，所述憑證行序列由至少一個憑證行子序列組成，其中，各個憑證行子序列中包括至少一個憑證字段；

相應的，所述對所述憑證行序列進行格式轉換，獲得所述目標憑證圖像對應的目標表格，包括：

基于所述憑證行序列中至少一個憑證行子序列的行排列順序，確定各個憑證行子序列對應的行信息；

根據各個憑證行子序列中至少一個憑證字段的字段排列順序，確定各個憑證字段在所屬憑證行子序列中對應的列信息；

基于各個憑證行子序列對應的行信息，以及各個憑證字段在所屬憑證行子序列中對應的列信息，構建各個憑證行子序列對應的初始表格行單元；

將各個憑證行子序列中至少一個憑證字段存儲至對應的初始表格行單元，根據存儲結果獲得目標表格。

4.根據如權利要求3所述的圖像識別方法，針對任意一個憑證行子序列中任意一個憑證字段的存儲，包括：

根據憑證字段在所屬憑證行子序列中對應的列信息以及所屬憑證行子序列對應的行信息，確定憑證字段對應的單元格信息；

根據所述單元格信息確定憑證字段在所屬憑證行子序列對應的初始表格行單元中對應的單元格；

將憑證字段存儲至所述單元格中。

5.根據如權利要求1所述的圖像識別方法，所述憑證識別模型的訓練，包括：

獲取樣本憑證圖像，以及所述樣本憑證圖像對應的樣本標簽；

將所述樣本憑證圖像輸入預先構建的初始識別模型，通過所述初始識別模型的編碼單元對所述樣本憑證圖像進行編碼，獲得樣本圖像布局特征以及樣本字符特征，通過所述初始識別模型的解碼單元對所述樣本圖像布局特征和所述樣本字符特征進行融合，對融合結果進行解碼，獲得所述初始識別模型輸出的預測憑證行序列；

根據所述預測憑證行序列和所述樣本標簽計算損失值；

根據所述損失值，調整所述初始識別模型的參數，并繼續迭代訓練直至獲得滿足訓練停止條件的憑證識別模型。

6.根據如權利要求1所述的圖像識別方法，所述通過所述憑證識別模型的解碼單元對所述圖像布局特征和所述字符特征進行融合，對融合結果進行解碼，獲得所述憑證識別模型輸出的憑證行序列，包括：

通過所述憑證識別模型的解碼單元對所述圖像布局特征和所述字符特征進行融合，并根據所述解碼單元中識別提示參數的布局識別提示參數值對融合結果進行解碼，獲得所述憑證識別模型輸出的憑證行序列。

7.根據如權利要求6所述的圖像識別方法，所述憑證識別模型的訓練，包括：

通過字符訓練任務對預先構建的初始憑證識別模型進行文字識別訓練，獲得滿足初始訓練停止條件的中間憑證識別模型；

通過布局訓練任務對所述中間憑證識別模型進行布局識別訓練，獲得滿足中間訓練停止條件的憑證識別模型。