[發(fā)明專利]一種基于神經網絡的OCR識別方法及設備

在審

• 申請?zhí)枺?/td>: 202011387854.1
• 申請日: 2020-12-02
• 公開（公告）號: CN112508011A
• 公開（公告）日: 2021-03-16
• 發(fā)明（設計）人: 陸大海
• 申請（專利權）人: 上海逸舟信息科技有限公司
• 主分類號: G06K9/32
• 分類號: G06K9/32;G06K9/34;G06K9/62;G06N3/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明公開了一種基于神經網絡的OCR識別方法及設備，包括：獲取業(yè)務方提供的待識別數據，把待識別數據轉換為待識別圖像；利用角度分類器對待識別圖像進行文本方向檢測，對文本圖像進行校正處理；使用文本檢測模型檢測校正后的圖像，得到目標文本框坐標和文本檢測置信度；步驟四：通過輸入文本框坐標獲取圖像的透視變換矩陣，對圖像進行剪裁和透視變換，獲取分割子圖像；利用文本識別模型對分割子圖像進行識別，得到文本數據和文本識別置信度；根據第三步和第五步的文本框坐標和對應的文本數據，進行坐標排序，得到有序文本；對有序文本進行模糊匹配，得到模板關鍵詞，通過對應模板對有序文本進行信息提取，最終得到結構化數據。本發(fā)明對排版復雜和背景多樣的文本圖片識別時，具有較強的魯棒性，可適應多種不同的實際應用情況。

技術領域

本發(fā)明涉及計算機圖像處理領域，具體涉及一種基于神經網絡的OCR識別方法及設備。

背景技術

OCR （Optical Character Recognition，光學字符識別）是指電子設備檢查紙上打印的字符，通過檢測暗、亮的模式確定其形狀，然后用字符識別方法將形狀翻譯成計算機文字的過程。其原理也和其他的圖像識別問題基本一樣。包含兩大關鍵技術：文本檢測和文字識別。先將圖像中的特征提取出來，并檢測目標區(qū)域，之后對目標區(qū)域的字符進行分割和分類。

但是現(xiàn)有的OCR識別面對排版和背景復雜的文本圖片時，不能有效識別甚至無法識別。同時現(xiàn)有的識別技術大多是針對單一或特定類型，難以滿足多類型的需求。為解決現(xiàn)有技術的不足，有必要對現(xiàn)有的OCR識別方法進行改進，從而使其具有高魯棒性，以適應多種不同的實際應用情況。

發(fā)明內容

本發(fā)明的目的是克服現(xiàn)有技術的缺陷，提供一種基于神經網絡的OCR識別方法及設備，可以準確識別排版和背景復雜的文本圖片。適應多種不同的實際應用情況。

實現(xiàn)上述目的的技術方案是：一種基于神經網絡的OCR識別方法，包括：

步驟一：獲取業(yè)務方提供的待識別數據，把待識別數據轉換為待識別圖像；

步驟二：利用角度分類器對待識別圖像進行文本方向檢測，對文本圖像進行校正處理；

步驟三：使用文本檢測模型檢測校正后的圖像，得到目標文本框坐標和文本檢測置信度；

步驟四：通過輸入文本框坐標獲取圖像的透視變換矩陣，對圖像進行剪裁和透視變換，獲取分割子圖像；

步驟五：利用文本識別模型對分割子圖像進行識別，得到文本數據和文本識別置信度；

步驟六：根據第三步和第五步的文本框坐標和對應的文本數據，進行坐標排序，得到有序文本；

步驟七：對有序文本進行模糊匹配，得到模板關鍵詞，通過對應模板對有序文本進行信息提取，最終得到結構化數據。

上述的一種基于神經網絡的OCR識別方法，所述步驟一中包含數據解析模塊，所述數據解析模塊將待識別數據轉化為待識別圖像。

上述的一種基于神經網絡的OCR識別方法，所述步驟二的角度分類器檢測角度包括0°，90°，180°和270°。

上述的一種基于神經網絡的OCR識別方法，所述步驟三包括對圖像處理后得到概率圖和閾值圖，并對所述概率圖和閾值圖進行組合優(yōu)化，進而得到可以自適應的二值圖。

上述的一種基于神經網絡的OCR識別方法，所述步驟五包括提取圖像的卷積特征，通過深層雙向循環(huán)神經網絡（LSTM）進一步提取卷積特征中的序列特征，最后引入CTC損失函數進行優(yōu)化。

上述的一種基于神經網絡的OCR識別方法，所述步驟六中的坐標排序包括：

根據文本框的高度以及文本框矩形中心點縱坐標進行縱向排序，再根據中心點橫坐標進行橫向排序，得到有序文本。

上述的一種基于神經網絡的OCR識別方法，所述步驟七中的模板是基于業(yè)務方提供樣本的布局屬性設計的。