[發明專利]自然場景的文本識別方法、可讀存儲介質及文本識別裝置

在審

• 申請號: 202111565107.7
• 申請日: 2021-12-20
• 公開（公告）號: CN114220108A
• 公開（公告）日: 2022-03-22
• 發明（設計）人: 李球;王和平;陳昌全;陳余泉;徐波;陳雅瓊
• 申請（專利權）人: 盛視科技股份有限公司
• 主分類號: G06V30/40
• 分類號: G06V30/40;G06V30/148;G06N3/04;G06N3/08;G06V30/10;G06V10/22;G06V30/18;G06V10/24
• 代理公司: 暫無信息
• 代理人: 暫無信息

本申請公開一種自然場景的文本識別方法，其包括：獲取待識別文本圖像，對所述待識別文本圖像進行文本區域檢測獲得矩形框的第一文本區域；對第一文本區域進行透視變換，并對透視變換后的第一文本區域進行旋轉獲得第二文本區域，第二文本區域的矩形框的長邊與X軸平行；基于深度學習模型訓練獲得角度檢測模型，利用所述角度檢測模型檢測第二文本區域內的文字的角度，根據所述角度檢測模型檢測的角度對矩形框的第二文本區域進行文字角度調整獲得第三文本區域，第三文本區域內的文字角度為0度；對所述第三文本區域內的字符進行單字符分割和單字符識別。本申請還提供計算機可讀存儲介質和文本識別裝置。

技術領域

本申請涉及文字識別技術領域，更具體地說，涉及一種自然場景的文本識別方法、可讀存儲介質及文本識別裝置。

背景技術

在當前的科技發展潮流下，借助圖像識別文字的技術較為常見。主要可以分為光學文字識別、自然場景中的文字識別等。光學文字識別(OCR)主要面向高清的文檔圖像，此類技術假設輸入圖像背景干凈、字體簡單且文字排布整齊。在符合此前提要求的情況下，訓練好的網絡模型能夠達到很高的識別準確率，并且訓練過程較快。

自然場景中的文字識別(STR)主要面向包含文字的自然場景圖像。然而，生活中一些自然場景中的文本中的文字存在著不同角度等屬性，這就使得識別這些自然場景的文字變得困難。

發明內容

針對現有技術，本申請解決的技術問題是提供一種能有利于提高含有不同角度文字的文本的識別效率的自然場景的文本識別方法、可讀存儲介質及終端。

為解決上述技術問題，本申請提供一種自然場景的文本識別方法，包括：

獲取待識別文本圖像，對所述待識別文本圖像進行文本區域檢測獲得矩形框的第一文本區域；

對第一文本區域進行透視變換，并對透視變換后的第一文本區域進行旋轉獲得第二文本區域，使第二文本區域的矩形框的長邊與X軸平行；

基于深度學習模型訓練獲得角度檢測模型，利用所述角度檢測模型檢測第二文本區域內的文字的角度，根據所述角度檢測模型檢測的角度對矩形框的第二文本區域進行文字角度調整獲得第三文本區域，使第三文本區域內的文字夾角為0度；

對所述第三文本區域內的字符進行單字符分割和單字符識別；

其中，X軸和Y軸相互垂直構成圖像坐標系，文字角度為文字與Y軸的夾角。

在一種可能的實現方式中，對透視變換后的第一文本區域進行旋轉獲得第二文本區域的步驟包括：

判斷第一文本區域的矩形框在Y軸和X軸的長度比是否大于1.5；

若是，將矩形框的第一文本區域逆時針旋轉90度；

否者，對矩形框的第一文本區域進行逆時針旋轉0度。

在一種可能的實現方式中，基于深度學習模型訓練獲得角度檢測模型的步驟包括：

截取自然場景中字符橫向平行分布且文字角度為0度的矩形框的文本圖像作為數據集；

將數據集分成六份，分別記為第一份數據，第二份數據、第三份數據、第四份數據、第五份數據和第六份數據；

將第一份數據中的每一文本圖像的每個字符進行逆時針旋轉0度獲得第一訓練數據集；將第二份數據中的每二文本圖像的每個字符進行逆時針旋轉90度獲得第二訓練數據集；將第三份數據中的每三文本圖像的每個字符進行逆時針旋轉180度獲得第三訓練數據集；將第四份數據中的每四文本圖像的每個字符進行逆時針旋轉270度獲得第四訓練數據集；將第五份數據中的每五文本圖像的每個字符進行逆時針旋轉45度獲得第五訓練數據集；將第六份數據中的每六文本圖像的每個字符進行順時針旋轉負45度獲得第六訓練數據集；