[發(fā)明專利]文檔圖像方向識(shí)別方法、裝置及模型的訓(xùn)練方法、裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202010136041.9
• 申請(qǐng)日: 2020-03-02
• 公開（公告）號(hào): CN111325205B
• 公開（公告）日: 2023-10-10
• 發(fā)明（設(shè)計(jì)）人: 周鍇;張睿
• 申請(qǐng)（專利權(quán)）人: 北京三快在線科技有限公司
• 主分類號(hào): G06V30/40
• 分類號(hào): G06V30/40;G06V30/146;G06V10/774;G06V10/80;G06V30/19
• 代理公司: 北京市隆安律師事務(wù)所 11323
• 代理人: 權(quán)鮮枝

1.一種文檔圖像方向識(shí)別模型的訓(xùn)練方法，包括：

根據(jù)注意力機(jī)制，生成訓(xùn)練圖像的注意力裁剪圖像和注意力抹除圖像；

根據(jù)注意力機(jī)制，分別確定所述訓(xùn)練圖像、所述注意力裁剪圖像以及所述注意力抹除圖像各自的注意力融合特征；

根據(jù)各注意力融合特征分別識(shí)別相應(yīng)圖像的方向，得到相應(yīng)的識(shí)別結(jié)果；

根據(jù)各識(shí)別結(jié)果計(jì)算交叉熵?fù)p失值，以及根據(jù)各注意力融合特征計(jì)算中心損失值，根據(jù)交叉熵?fù)p失值和中心損失值對(duì)所述文檔圖像方向識(shí)別模型進(jìn)行參數(shù)優(yōu)化或停止訓(xùn)練。

2.如權(quán)利要求1所述的文檔圖像方向識(shí)別模型的訓(xùn)練方法，其特征在于，所述根據(jù)注意力機(jī)制，生成訓(xùn)練圖像的注意力裁剪圖像和注意力抹除圖像包括：

提取訓(xùn)練圖像的原始特征；

根據(jù)注意力機(jī)制和所述原始特征生成注意力特征，根據(jù)所述注意力特征和所述訓(xùn)練圖像生成注意力裁剪圖像和注意力抹除圖像。

3.如權(quán)利要求2所述的文檔圖像方向識(shí)別模型的訓(xùn)練方法，其特征在于，所述根據(jù)所述注意力特征和所述訓(xùn)練圖像生成注意力裁剪圖像和注意力抹除圖像包括：

調(diào)整注意力特征的特征矩陣至與所述訓(xùn)練圖像的大小相適應(yīng)；

從調(diào)整后的特征矩陣中確定注意力響應(yīng)區(qū)域；

根據(jù)所述注意力響應(yīng)區(qū)域的最小包圍框從所述訓(xùn)練圖像中裁剪出所述注意力裁剪圖像；

從所述注意力響應(yīng)區(qū)域中隨機(jī)選取部分元素，根據(jù)該部分元素的最小包圍框和/或掩模在所述訓(xùn)練圖像中抹除相應(yīng)部分的圖像區(qū)域，得到注意力抹除圖像。

4.如權(quán)利要求1所述的文檔圖像方向識(shí)別模型的訓(xùn)練方法，其特征在于，所述根據(jù)注意力機(jī)制，分別確定所述訓(xùn)練圖像、所述注意力裁剪圖像以及所述注意力抹除圖像的注意力融合特征包括：

分別提取所述訓(xùn)練圖像、所述注意力裁剪圖像以及所述注意力抹除圖像的原始特征；

通過注意力機(jī)制和各圖像的原始特征，分別生成各圖像的注意力特征；

對(duì)每個(gè)圖像，將該圖像的原始特征與注意力特征進(jìn)行融合，得到該圖像的注意力融合特征。

5.如權(quán)利要求1所述的文檔圖像方向識(shí)別模型的訓(xùn)練方法，其特征在于，所述根據(jù)各識(shí)別結(jié)果計(jì)算交叉熵?fù)p失值，以及根據(jù)各注意力融合特征計(jì)算中心損失值，根據(jù)交叉熵?fù)p失值和中心損失值對(duì)所述文檔圖像方向識(shí)別模型進(jìn)行參數(shù)優(yōu)化或停止訓(xùn)練包括：

將注意力融合特征通過softmax輸出識(shí)別結(jié)果，根據(jù)識(shí)別結(jié)果和真實(shí)值計(jì)算交叉熵?fù)p失值；

根據(jù)各注意力融合特征與各圖像方向的中心特征計(jì)算中心損失值；

當(dāng)各交叉熵?fù)p失值和所述中心損失值均小于相應(yīng)的預(yù)設(shè)值時(shí)停止訓(xùn)練，否則，根據(jù)交叉熵?fù)p失值和中心損失值對(duì)所述文檔圖像方向識(shí)別模型進(jìn)行參數(shù)優(yōu)化。

6.如權(quán)利要求1-5中任一項(xiàng)所述的文檔圖像方向識(shí)別模型的訓(xùn)練方法，其特征在于，所述注意力機(jī)制為注意力擾動(dòng)機(jī)制。

7.一種文檔圖像方向識(shí)別方法，包括：

獲取待進(jìn)行方向識(shí)別的文檔圖像；

利用通過權(quán)利要求1-6中任一項(xiàng)所述的方法訓(xùn)練得到的文檔圖像方向識(shí)別模型確定所述文檔圖像的注意力融合特征，并基于所述注意力融合特征確定所述文檔圖像的方向。

8.一種文檔圖像方向識(shí)別模型的訓(xùn)練裝置，包括：

注意力圖像單元，用于根據(jù)注意力機(jī)制，生成訓(xùn)練圖像的注意力裁剪圖像和注意力抹除圖像；

特征單元，用于根據(jù)注意力機(jī)制，分別確定所述訓(xùn)練圖像、所述注意力裁剪圖像以及所述注意力抹除圖像各自的注意力融合特征；

控制單元，用于根據(jù)各注意力融合特征分別識(shí)別相應(yīng)圖像的方向，得到相應(yīng)的識(shí)別結(jié)果；根據(jù)各識(shí)別結(jié)果計(jì)算交叉熵?fù)p失值，以及根據(jù)各注意力融合特征計(jì)算中心損失值，根據(jù)交叉熵?fù)p失值和中心損失值對(duì)所述文檔圖像方向識(shí)別模型進(jìn)行參數(shù)優(yōu)化或停止訓(xùn)練。