[發明專利]文檔圖像方向識別方法、裝置及模型的訓練方法、裝置

有效

• 申請號: 202010136041.9
• 申請日: 2020-03-02
• 公開（公告）號: CN111325205B
• 公開（公告）日: 2023-10-10
• 發明（設計）人: 周鍇;張睿
• 申請（專利權）人: 北京三快在線科技有限公司
• 主分類號: G06V30/40
• 分類號: G06V30/40;G06V30/146;G06V10/774;G06V10/80;G06V30/19
• 代理公司: 北京市隆安律師事務所 11323
• 代理人: 權鮮枝

本申請公開了文檔圖像方向識別方法、裝置及模型的訓練方法、裝置。文檔圖像識別模型的訓練方法包括：根據注意力機制，生成訓練圖像的注意力裁剪圖像和注意力抹除圖像，以及分別確定訓練圖像、注意力裁剪圖像以及注意力抹除圖像各自的注意力融合特征；根據各注意力融合特征分別識別相應圖像的方向，得到相應的識別結果；根據各識別結果計算交叉熵損失值，以及根據各注意力融合特征計算中心損失值，根據交叉熵損失值和中心損失值對文檔圖像方向識別模型進行參數優化或停止訓練。利用注意力裁剪和注意力抹除，讓文檔圖像方向識別模型更容易聚焦至文檔圖像中有區分度的文字部分特征，并且通過減少類內距離，達到了更好的通用文檔圖像方向判斷效果。

技術領域

本申請涉計算機視覺領域，具體涉及文檔圖像方向識別方法、裝置及模型的訓練方法、裝置。

背景技術

業務中經常會涉及到證照、文檔圖像的自動識別，但在識別之前必須保證圖像方向是正的才可以進行文本的檢測和識別。由于實際業務數據中很多是用戶直接拍攝上傳的(有可能有0°，90°，180°，270°的情況，其中0°為正向)，無法保證圖像方向是正的，所以不論是對存量數據或者線上數據進行識別，都需要人工或者算法將圖像旋轉為正向才可以進行識別，但人工的方式效率過于低下。

發明內容

鑒于上述問題，提出了本申請以便提供一種克服上述問題或者至少部分地解決上述問題的文檔圖像方向識別方法、裝置及模型的訓練方法、裝置。

依據本申請的第一方面，提供了一種文檔圖像方向識別模型的訓練方法，包括：根據注意力機制，生成訓練圖像的注意力裁剪圖像和注意力抹除圖像；根據注意力機制，分別確定所述訓練圖像、所述注意力裁剪圖像以及所述注意力抹除圖像各自的注意力融合特征；根據各注意力融合特征分別識別相應圖像的方向，得到相應的識別結果；根據各識別結果計算交叉熵損失值，以及根據各注意力融合特征計算中心損失值，根據交叉熵損失值和中心損失值對所述文檔圖像方向識別模型進行參數優化或停止訓練。

可選地，所述根據注意力機制，生成訓練圖像的注意力裁剪圖像和注意力抹除圖像包括：提取訓練圖像的原始特征；根據注意力機制和所述原始特征生成注意力特征，根據所述注意力特征和所述訓練圖像生成注意力裁剪圖像和注意力抹除圖像。

可選地，所述根據所述注意力特征和所述訓練圖像生成注意力裁剪圖像和注意力抹除圖像包括：調整注意力特征的特征矩陣至與所述訓練圖像的大小相適應；從調整后的特征矩陣中確定注意力響應區域；根據所述注意力響應區域的最小包圍框從所述訓練圖像中裁剪出所述注意力裁剪圖像；從所述注意力響應區域中隨機選取部分元素，根據該部分元素的最小包圍框和/或掩模在所述訓練圖像中抹除相應部分的圖像區域，得到注意力抹除圖像。

可選地，所述根據注意力機制，分別確定所述訓練圖像、所述注意力裁剪圖像以及所述注意力抹除圖像的注意力融合特征包括：分別提取所述訓練圖像、所述注意力裁剪圖像以及所述注意力抹除圖像的原始特征；通過注意力機制和各圖像的原始特征，分別生成各圖像的注意力特征；對每個圖像，將該圖像的原始特征與注意力特征進行融合，得到該圖像的注意力融合特征。

可選地，所述根據各識別結果計算交叉熵損失值，以及根據各注意力融合特征計算中心損失值，根據交叉熵損失值和中心損失值對所述文檔圖像方向識別模型進行參數優化或停止訓練包括：將注意力融合特征通過softmax輸出識別結果，根據識別結果和真實值計算交叉熵損失值；根據各注意力融合特征與各圖像方向的中心特征計算中心損失值；當各交叉熵損失值和所述中心損失值均小于相應的預設值時停止訓練，否則，根據交叉熵損失值和中心損失值對所述文檔圖像方向識別模型進行參數優化。

可選地，所述注意力機制為注意力擾動機制。

依據本申請的第二方面，提供了一種文檔圖像方向識別方法，包括：獲取待進行方向識別的文檔圖像；利用通過如上述任一項所述的文檔圖像方向識別模型的訓練方法訓練得到的文檔圖像方向識別模型確定所述文檔圖像的注意力融合特征，并基于所述注意力融合特征確定所述文檔圖像的方向。