[發(fā)明專利]圖像文字識別方法、裝置、電子設備

在審

• 申請?zhí)枺?/td>: 202110020629.2
• 申請日: 2021-01-07
• 公開（公告）號: CN112699882A
• 公開（公告）日: 2021-04-23
• 發(fā)明（設計）人: 宋祺;姜仟藝;張睿
• 申請（專利權(quán)）人: 北京三快在線科技有限公司
• 主分類號: G06K9/32
• 分類號: G06K9/32;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京潤澤恒知識產(chǎn)權(quán)代理有限公司 11319
• 代理人: 任亞娟

本申請公開了一種圖像文字識別方法，屬于計算機技術領域，有助于提升圖像中文字識別的準確率。所述圖像文字識別方法包括：將預先訓練的編碼?解碼網(wǎng)絡模型應用于在線識別過程中，編碼?解碼網(wǎng)絡模型包括：至少兩個編碼模塊、與每個所述編碼模塊對應的解碼模塊的，其中，每個編碼模塊用于從不同特征維度對輸入圖像進行編碼，所述方法通過執(zhí)行至少兩個編碼模塊，對輸入圖像特征編碼，分別得到每個編碼模塊的編碼輸出；分別執(zhí)行每個解碼模塊，對相應編碼模塊的編碼輸出進行解碼，得到各解碼模塊對輸入圖像的解碼輸出；對各解碼模塊對輸入圖像的解碼輸出，進行融合處理，確定所述編碼?解碼網(wǎng)絡模型對所述輸入圖像的文字識別結(jié)果。

技術領域

本申請實施例涉及計算機技術領域，特別是涉及一種圖像文字識別方法、裝置、電子設備及計算機可讀存儲介質(zhì)。

背景技術

文字識別作為機器視覺中的一種常用技術，被廣泛應用于文檔分析、證照識別、街景識別、信息自動錄入等應用場景中?，F(xiàn)有技術中，文字識別的主流方法都是由編碼-解碼結(jié)構(gòu)構(gòu)成。其中，編碼過程是將輸入的圖像信息轉(zhuǎn)化成一個表征向量；解碼過程則是將編碼過程生成的表征向量再轉(zhuǎn)化成輸出目標序列。為了提升文字識別結(jié)果的準確率，現(xiàn)有技術中，通常采用多個編碼-解碼網(wǎng)絡結(jié)構(gòu)對輸入圖像進行編解碼，并在分別得到每個編碼-解碼網(wǎng)絡結(jié)構(gòu)輸出的解碼結(jié)果之后，采用識別準確率最高的一個編碼-解碼網(wǎng)絡結(jié)構(gòu)輸出的解碼結(jié)果作為所述輸入圖像中的文字識別結(jié)果。然而，現(xiàn)有技術中的文字識別方法，不同編碼-解碼網(wǎng)絡結(jié)構(gòu)輸出的解碼結(jié)果之間沒有相互參考，各個網(wǎng)絡結(jié)構(gòu)的解碼部分僅根據(jù)自身編碼部分的編碼輸出執(zhí)行解碼操作，當編碼部分的輸出，或者解碼部分的輸出不準確時，都會影響文字識別結(jié)果的準確率。

可見，現(xiàn)有技術中的文字識別方法還需要改進。

發(fā)明內(nèi)容

本申請實施例提供一種圖像文字識別方法，有助于提升圖像中文字識別的準確率。

第一方面，本申請實施例提供了一種圖像文字識別方法，預先訓練的編碼-解碼網(wǎng)絡模型包括：至少兩個編碼模塊，以及，和每個所述編碼模塊對應的解碼模塊，其中，每個所述編碼模塊用于從不同特征維度對輸入圖像進行編碼；所述方法包括：

執(zhí)行所述至少兩個編碼模塊，對輸入圖像特征編碼，分別得到每個所述編碼模塊的編碼輸出；

分別執(zhí)行每個所述解碼模塊，對相應所述編碼模塊的所述編碼輸出進行解碼，得到各所述解碼模塊對所述輸入圖像的解碼輸出；

對各所述解碼模塊對所述輸入圖像的所述解碼輸出，進行融合處理，確定所述編碼-解碼網(wǎng)絡模型對所述輸入圖像的文字識別結(jié)果。

第二方面，本申請實施例提供了一種圖像文字識別裝置，用于執(zhí)行預先訓練的編碼-解碼網(wǎng)絡模型，所述編碼-解碼網(wǎng)絡模型包括：至少兩個編碼模塊，以及，和每個所述編碼模塊對應的解碼模塊，其中，每個所述編碼模塊用于從不同特征維度對輸入圖像進行編碼；所述裝置包括：

編碼控制單元，用于執(zhí)行所述至少兩個編碼模塊，對輸入圖像特征編碼，分別得到每個所述編碼模塊的編碼輸出；

解碼控制單元，用于分別執(zhí)行每個所述解碼模塊，對相應所述編碼模塊的所述編碼輸出進行解碼，得到各所述解碼模塊對所述輸入圖像的解碼輸出；

融合輸出控制單元，用于對各所述解碼模塊對所述輸入圖像的所述解碼輸出，進行融合處理，確定所述編碼-解碼網(wǎng)絡模型對所述輸入圖像的文字識別結(jié)果。

第三方面，本申請實施例還公開了一種電子設備，包括存儲器、處理器及存儲在所述存儲器上并可在處理器上運行的計算機程序，所述處理器執(zhí)行所述計算機程序時實現(xiàn)本申請實施例所述的圖像文字識別方法。

第四方面，本申請實施例提供了一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序，該程序被處理器執(zhí)行時本申請實施例公開的圖像文字識別方法的步驟。