[發明專利]文字識別、文字識別模型的訓練方法、裝置和電子設備

有效

• 申請號: 202011012497.0
• 申請日: 2020-09-23
• 公開（公告）號: CN112270316B
• 公開（公告）日: 2023-06-20
• 發明（設計）人: 張婕蕾;萬昭祎;姚聰
• 申請（專利權）人: 北京曠視科技有限公司
• 主分類號: G06V30/224
• 分類號: G06V30/224;G06V30/19;G06V10/82;G06N3/0442;G06N3/045;G06N3/08
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 安衛靜

本發明提供了一種文字識別、文字識別模型的訓練方法、裝置和電子設備，涉及圖像處理的技術領域，包括：通過注意力模型對待識別圖像的特征向量進行處理，得到每個循環神經網絡的注意力權重值；確定每個循環神經網絡的目標輸入參數，其中，目標輸入參數包括：待識別圖像的特征向量，或者，待識別圖像的特征向量和當前循環神經網絡的上一個循環神經網絡輸出的字符識別結果；將目標輸入參數和注意力權重值輸入至每個循環神經網絡進行處理，得到字符識別結果，并將最后一個循環神經網絡輸出的字符識別結果確定為待識別圖像的字符識別結果，本申請緩解現有的場景文字識別模型由于容易受訓練集語料影響導致識別準確度不高的技術問題。

技術領域

本發明涉及圖像處理的技術領域，尤其是涉及一種文字識別、文字識別模型的訓練方法、裝置和電子設備。

背景技術

近年來，場景文字識別在模式識別領域的應用越來越廣泛，它可以應用到圖像檢索、智能交通、人機交互等領域。

近幾十年場景文字識別被廣泛研究，現在針對場景文字識別的方法越來越多，且場景文字識別方法的準確率也在不斷地提高。但是，現有的場景文字識別的方法存在詞匯依賴性，即場景文字識別模型的輸出往往會受到訓練集語料的影響。例如，如圖1所示，左側兩個圖分別為訓練集語料，右側兩個圖分別為待識別的圖片。從右側圖中可以看出，該模型將“UNIVERSITI”識別為“UNIVERSITY”，該識別過程就可以表明該模型受到訓練集語料的影響，導致識別錯誤。

發明內容

有鑒于此，本發明的目的在于提供一種文字識別、文字識別模型的訓練方法、裝置和電子設備，以緩解現有的場景文字識別模型由于容易受訓練集語料影響導致識別準確度不高的技術問題。

第一方面，本發明實施例提供了一種文字識別方法，應用于文字識別模型，所述文字識別模型包括：注意力模型和多個循環神經網絡，所述注意力模型和每個循環神經網絡相連接，多個循環神經網絡串聯連接，其中，多個循環神經網絡中的部分或者全部循環神經網絡的輸入數據不包含上一個與之相連的循環神經網絡的輸出數據；所述方法包括：通過注意力模型對待識別圖像的特征向量進行處理，得到每個循環神經網絡的注意力權重值；確定每個循環神經網絡的目標輸入參數，其中，所述目標輸入參數包括：所述待識別圖像的特征向量，或者，所述待識別圖像的特征向量和當前循環神經網絡的上一個循環神經網絡輸出的字符識別結果；將所述目標輸入參數和所述注意力權重值輸入至每個循環神經網絡進行處理，得到字符識別結果，并將最后一個循環神經網絡輸出的字符識別結果確定為所述待識別圖像的字符識別結果，其中，所述字符識別結果表示待識別字符所屬于各個預設字符的概率。

進一步地，確定每個循環神經網絡的目標輸入參數包括：若確定出預先為每個循環神經網絡設置了對應的目標概率，判斷所述目標概率是否大于或者等于預設概率閾值；所述目標概率用于確定所述目標輸入參數中是否包含所述上一個循環神經網絡輸出的字符識別結果；若所述目標概率大于或者等于預設概率閾值，則確定每個循環神經網絡的目標輸入參數中包含所述上一個循環神經網絡輸出的字符識別結果和所述待識別圖像的特征向量。

進一步地，確定每個循環神經網絡所對應的目標概率包括：通過概率生成器為每個循環神經網絡隨機生成所述目標概率；或者；通過目標神經網絡為每個循環神經網絡隨機生成所述目標概率，其中，所述目標神經網絡的輸入參數包括：每個循環神經網絡在所述多個循環神經網絡中的位置信息，每個循環神經網絡的注意力權重值，所述待識別圖像的特征向量。

進一步地，若全部第一循環神經網絡的輸入數據不包含上一個與之相連的第一循環神經網絡的輸出數據，則所述文字識別模型還包括：目標語言模型；所述目標語言模型包括：多個第二循環神經網絡，多個第二循環神經網絡串聯連接，多個第二循環神經網絡中的全部第二循環神經網絡的輸入數據包含上一個與之相連的第二循環神經網絡的輸出數據，且多個第二循環神經網絡與多個第一循環神經網絡一一對應連接。