[發明專利]基于方向檢測的文字識別方法、裝置、設備及介質

有效

• 申請號: 202110010315.4
• 申請日: 2021-01-06
• 公開（公告）號: CN112329777B
• 公開（公告）日: 2021-05-04
• 發明（設計）人: 王威;韓茂琨;劉玉宇
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06K9/32
• 分類號: G06K9/32;G06K9/34;G06K9/62;G06N3/04
• 代理公司: 深圳市賽恩倍吉知識產權代理有限公司 44334
• 代理人: 遲珊珊;劉麗華

本發明涉及人工智能領域，提供一種基于方向檢測的文字識別方法、裝置、設備及介質，能夠拼接樣本，以增強樣本特征，橫向拼接也充分滿足網絡特性，進而提升了網絡訓練的效果，根據檢測到的文本方向對文字切片進行方向校正，再有針對性的進行文字識別，使識別的準確率更高，解決了在各方向文字混排在一張圖片時的漏識別問題，保證在復雜排版的圖片上提取到的信息更具完整性。本發明還涉及區塊鏈技術，涉及到的模型可存儲于區塊鏈。

技術領域

本發明涉及人工智能技術領域，尤其涉及一種基于方向檢測的文字識別方法、裝置、設備及介質。

背景技術

文字識別是人工智能領域重要的分支，有著廣泛的應用前景，如紙質書籍的電子化、電商圖片的信息提取、各類證件票據的自動化錄入等。把圖像中的文本轉變為計算機中可以編輯的字符，對于圖像分析乃至視頻分析都有著不可替代的作用。

近年來，隨著在線課堂的逐步普及，對教學或講座視頻進行截圖分析的需求也日益旺盛，這些視頻截圖多為PPT（PowerPoint）展示頁面，除正文外還涉及表格、圖表中的文字等，雖然橫排正向文字占大多數，但其它方向的文字中也可能包含重要信息，不能遺漏。

但是，目前普遍采用的文本識別方案通常只能識別橫排正向文字，對其它方向的文字識別支持較差，即便是對文字方向預先作判斷及方向校正，也是對整個文檔圖片的文字方向進行判斷，而對于多方向文字混排的場景，無法針對每一條文本做出單獨的方向判斷，導致此場景下文字識別的結果準確度較低。

發明內容

鑒于以上內容，有必要提供一種基于方向檢測的文字識別方法、裝置、設備及介質，能夠首先根據檢測到的文本方向對文字切片進行方向校正，再有針對性的進行文字識別，使識別的準確率更高，解決了在各方向文字混排在一張圖片時的漏識別問題，保證在復雜排版的圖片上提取到的信息更具完整性。

一種基于方向檢測的文字識別方法，所述基于方向檢測的文字識別方法包括：

響應于文字識別指令，獲取第一初始樣本及第二初始樣本，其中，所述第一初始樣本與所述第二初始樣本具有相同的文本方向；

對所述第一初始樣本中的每張圖片進行拼接處理，得到拼接樣本；

對所述拼接樣本中的每張圖片進行切片處理，得到切片樣本；

對所述切片樣本進行旋轉處理，得到第一訓練樣本；

利用所述第一訓練樣本訓練MobileNet-v2網絡，得到文本方向檢測模型；

從所述第二初始樣本中獲取橫向樣本訓練文本識別模型，得到橫向文本識別模型，及從所述第二初始樣本中獲取縱向樣本訓練文本識別模型，得到縱向文本識別模型；

當接收到待檢測圖片時，對所述待檢測圖片進行文本位置檢測，得到至少一個文字切片；

計算每個文字切片的高寬比，并根據每個文字切片的高寬比對每個文字切片進行預處理；

將預處理后的每個文字切片輸入至所述文本方向檢測模型，并獲取所述文本方向檢測模型的輸出作為每個文字切片的文本方向；

根據每個文字切片的文本方向從所述橫向文本識別模型及所述縱向文本識別模型中選擇模型進行文字識別，得到文字識別結果。

根據本發明優選實施例，所述對所述第一初始樣本中的每張圖片進行拼接處理，得到拼接樣本包括：

對于所述第一初始樣本中的每張圖片，將所述圖片的高度縮放到預設高度；

根據所述圖片的初始高寬比及所述預設高度確定目標寬度，并將所述圖片的寬度縮放至所述目標寬度；

獲取配置像素，對所述配置像素與所述目標寬度的商執行向上取整運算，得到復制量；