[發明專利]基于連通域的自然場景文字檢測方法

在審

• 申請號: 201611157997.7
• 申請日: 2016-12-15
• 公開（公告）號: CN106845475A
• 公開（公告）日: 2017-06-13
• 發明（設計）人: 馮冬竹;余航;鄭毓;楊旭坤;何曉川;劉清華;許錄平
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06K9/32
• 分類號: G06K9/32;G06K9/34
• 代理公司: 陜西電子工業專利中心61205
• 代理人: 王品華,朱紅星

技術領域

本發明屬于計算機視覺技術領域，具體涉及自然場景圖像文字檢測方法，可用于自動提取圖像中的文字。

背景技術

隨著移動互聯網的飛速發展及智能手機等移動電子設備的普及，自然場景圖像的獲取和傳輸變得越來越便捷。自然場景圖像中的文字包含了豐富的信息，人們期待計算機能代替人類自動地檢測并提取圖像的文字信息，并將這項技術走向產業化發展，投向日常的生產和生活中，如將文字識別技術應用于無人駕駛汽車、盲人導航、工業自動化、互聯網信息挖掘、電商打假、品牌曝光率調研等領域。

與傳統的光學字符識別不同，自然場景中的文字信息提取難點在于待檢測和識別的文字處于復雜的自然場景中，如真實的街道和商場場景等，因此圖像具有復雜性和多變性的特點，且存在噪聲、模糊以及角度傾斜、文字字體多變等問題。近年來，面向自然場景的文字識別研究雖然取得了一定的成果，但是與實際應用要求還存在較大的差距。因此，面向自然場景的文字識別方法的研究不僅具有重要的理論研究意義，而且具有廣闊的應用前景。

自然場景文字識別主要包含了兩個子問題：文字檢測和字符識別。其中最受關注的是文字檢測問題。文字檢測是指對圖像中是否存在文字信息進行確認，若存在文字信息則需要對文字進行定位及分割。因此，如何準確的提取出文字區域對自然場景文字識別有重要的意義。

目前，在提取文字區域方法中，最常用的是最大極值穩定區域算子MSER。MSER是一種經典的連通區域檢測算子。MSER算子具有非常強的魯棒性，可以檢測到低質量的文字，例如低對比度、低分辨率和模糊退化。同時因為在自然場景中有很多類似文字的場景元素的存在，如門窗、欄桿、樹葉網孔、燈柱等，而且這些非文字元素在形狀和顏色上與文字非常的相似，所以檢測到了許多不是文字的MSER連通區域，導致文字檢測的準確率下降。這是基于最大極值穩定區域進行文字定位的最主要挑戰之一。

發明內容

本發明的目的在于針對上述已有技術的不足，提出一種基于連通域的自然場景圖像文字檢測的方法，以保證檢測速度，提高文字檢測的準確率。

本發明的思路是：直接對自然場景圖像進行灰度變換，利用連通域檢測算子MSER提取字符候選區域，根據字符的基本幾何特性以及筆畫寬度特性來濾掉一些非字符區域，將剩余字符區域合并為文本行后，依次輸入到訓練好的卷積神經網絡CNN字符檢測器中進行檢測，過濾掉沒有字符的區域，得到最終的文字區域。其技術方案包括如下步驟：

1)輸入原始圖像I，并對其進行灰度變換得到灰度圖像I_G；

2)對灰度圖像I_G，利用最大穩定極值區域算子MSER提取字符候選區域，得到字符候選區域圖像I_m；

3)根據字符區域的基本幾何特性過濾掉I_m中一些不含有字符的候選區域，得到初步過濾后的字符候選區域圖像I₁；

3a)計算I_m每一個字符候選區域的外接矩形邊界框；

3b)計算每個外接矩形邊界框的長寬比，將長寬比大于10的字符候選區域去除；

3c)計算剩余字符候選區域的歐拉數，將歐拉數小于-4的字符候選區域去除；

3d)計算與剩余字符候選區域具有相同標準二階中心矩的橢圓離心率，將離心率大于0.995的候選區域去除；

3e)計算剩余字符候選區域的固靠性程度值，將該值小于0.3的候選區域去除，得到初步過濾后的字符候選區域圖像I₁；

4)根據字符筆畫寬度特性進一步過濾掉I₁中一些不含有字符的候選區域，得到最終的過濾后字符區域候選圖像I₂；

4a)分別計算出I₁中每個字符候選區域的筆畫寬度均值和筆畫寬度標準偏差；

4b)計算出筆畫寬度均值與標準偏差的比值，將比值大于0.5的字符候選區域去掉，得到再次過濾后字符候選區域圖像I₂；

5)將I₂中剩余的字符候選區域合并為文本行區域；

5a)將I₂中剩余的字符候選區域用邊界框標定；

5b)分別計算每一對相鄰的邊界框的重疊區域面積值S_r和這兩個重疊區域的總面積值S_a，獲得這兩個面積的比值；

5c)依次將比值為非零的字符候選區域進行連接，合并成文本行區域；