[發(fā)明專利]圖像字符識別方法、裝置、介質(zhì)及電子設備

有效

• 申請?zhí)枺?/td>: 202110209444.6
• 申請日: 2021-02-24
• 公開（公告）號: CN112883966B
• 公開（公告）日: 2023-02-24
• 發(fā)明（設計）人: 盧永晨;王長虎;蔡悅;毛曉飛
• 申請（專利權）人: 北京有竹居網(wǎng)絡技術有限公司
• 主分類號: G06V20/62
• 分類號: G06V20/62;G06V10/44;G06V10/764;G06V10/82;G06N3/0442;G06N3/0464;G06N3/08
• 代理公司: 北京英創(chuàng)嘉友知識產(chǎn)權代理事務所(普通合伙) 11447
• 代理人: 曹寒梅

1.一種圖像字符識別方法，其特征在于，所述方法包括：

接收待識別圖像，其中，所述待識別圖像中包含多個語種的字符；

根據(jù)所述待識別圖像和字符識別模型，確定所述待識別圖像對應的字符識別結果和語種分類結果；

其中，所述字符識別模型中包含字符識別子模型和語種分類子模型，所述語種分類子模型用于對所述多個語種的字符進行語種分類，所述字符識別子模型用于對所述多個語種的字符進行識別；所述字符識別模型是基于所述字符識別子模型和所述語種分類子模型進行并行聯(lián)合訓練得出的；

所述字符識別模型通過以下方式確定：

確定訓練樣本中的訓練圖像的每一訓練字符行圖像，其中，所述訓練樣本中包括所述訓練圖像，以及與所述訓練圖像對應的字符標注結果和語種標注結果；

通過預設模型中的特征提取子模型提取每一所述訓練字符行圖像的訓練圖像特征；

通過所述預設模型中的字符識別子模型對所述訓練圖像特征進行處理，以獲得訓練字符識別結果，以及通過預設模型中的語種分類子模型對所述訓練圖像特征進行處理，以獲得訓練語種分類結果；

根據(jù)所述訓練字符識別結果和所述訓練語種分類結果，以及所述字符標注結果和所述語種標注結果，確定所述預設模型的目標損失，并在所述預設模型的目標損失小于或等于預設閾值時結束訓練，將獲得的預設模型確定為所述字符識別模型。

2.根據(jù)權利要求1所述的方法，其特征在于，所述字符識別模型還包括特征提取子模型；

所述根據(jù)所述待識別圖像和字符識別模型，確定所述待識別圖像對應的字符識別結果和語種分類結果，包括：

確定所述待識別圖像中的每一字符行信息；

根據(jù)每一所述字符行信息從所述待識別圖像中確定每一字符行圖像；

通過所述特征提取子模型提取每一所述字符行圖像的圖像特征；

通過所述字符識別子模型對所述圖像特征進行處理，以獲得所述字符識別結果，以及通過所述語種分類子模型對所述圖像特征進行處理，以獲得所述語種分類結果。

3.根據(jù)權利要求1所述的方法，其特征在于，所述根據(jù)所述訓練字符識別結果和所述訓練語種分類結果，以及所述字符標注結果和所述語種標注結果，確定所述預設模型的目標損失，包括：

根據(jù)所述訓練字符識別結果和所述字符標注結果，基于CTC損失函數(shù)確定所述預設模型的字符識別子模型的第一損失；

根據(jù)所述訓練語種分類結果和所述語種標注結果，基于交叉熵損失函數(shù)確定所述預設模型的語種分類子模型的第二損失；

根據(jù)所述第一損失和所述第二損失，確定所述字符識別模型的目標損失。

4.根據(jù)權利要求1所述的方法，其特征在于，所述方法還包括：

根據(jù)所述字符識別結果和所述語種分類結果，輸出所述待識別圖像的識別結果，所述識別結果包括所述待識別圖像中的每一字符行文本以及與該字符行文本對應的語種標識。

5.根據(jù)權利要求4所述的方法，其特征在于，所述方法還包括：

響應于接收到用戶針對于所述識別結果的確認操作，根據(jù)所述字符行文本對應的語種標識對所述字符行文本進行語種轉換，以獲得目標語種下所述字符行文本對應的轉換文本；和/或，

響應于接收到用戶針對所述識別結果中的目標字符行文本對應的語種標識的修改操作，將修改后的語種標識確定為所述目標字符行文本對應的語種標識。