[發明專利]一種任意形狀的自然場景文本識別方法

在審

• 申請號: 202011046937.4
• 申請日: 2020-09-29
• 公開（公告）號: CN112183545A
• 公開（公告）日: 2021-01-05
• 發明（設計）人: 巴姍姍;楊淑愛;黃坤山
• 申請（專利權）人: 佛山市南海區廣工大數控裝備協同創新研究院;佛山市廣工大數控裝備技術發展有限公司
• 主分類號: G06K9/34
• 分類號: G06K9/34;G06K9/20;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廣州科沃園專利代理有限公司 44416
• 代理人: 馬盼

本發明提供了一種任意形狀的自然場景文本識別方法，包括如下步驟：S1、自然場景文本圖像采集，制作訓練數據集和測試數據集；S2、構建文本識別網絡模型，用標注好的訓練樣本數據優化網絡模型參數，獲得最優的文本識別網絡模型；S3、將待識別的自然場景文本圖像輸入訓練好的網絡模型，得到文本識別結果，在文本識別中結合了空間注意力機制，為文本識別提高空間位置信息，提高了注意力機制模塊對位置信息的敏感度，對文本的外觀具有較強的魯棒性，能夠實現任意形狀的文本識別。該方法在解決極端縱橫比或不規則形狀的文本實例檢測與識別問題上取得很好效果，而且其識別精度不會受附近文本或背景噪聲影響。

技術領域

本發明涉及文本檢測與識別技術領域，特別涉及一種任意形狀的自然場景文本識別方法。

背景技術

近年來，視頻和圖像中的文本檢測與識別問題受到了越來越多的關注，因為文本是理解整個圖像的重要內容，蘊含著豐富的語義信息，這些信息是圖像內容描述和場景理解的關鍵線索，因此提取圖像中的文本信息有著廣泛的應用背景和重大的研究意義。當前規則的文本識別已經取得了顯著的成功，比如：車牌識別、產品識別、互聯網的視頻內容安全監控、視頻圖像檢索等，很多研究方法將遞歸神經網絡、注意力機制結合到識別模型中取得了很好的效果。但是大多數的識別模型仍然不穩定，無法處理自然場景圖像中的環境噪聲干擾、不規則形狀或扭曲模式等的文本識別問題。因此設計一種能夠識別自然場景圖像中任意形狀文本實例的方法是有必要的。

發明內容

針對現有技術的不足，本發明提供了一種任意形狀的自然場景文本識別方法，以解決背景技術中出現的問題。

為實現上述目的，本發明采用如下技術方案：

一種任意形狀的自然場景文本識別方法，包括如下步驟：

S1、自然場景文本圖像采集，制作訓練數據集和測試數據集；

S2、構建文本識別網絡模型，用標注好的訓練樣本數據優化網絡模型參數，獲得最優的文本識別網絡模型；

S3、將待識別的自然場景文本圖像輸入訓練好的網絡模型，得到文本識別結果。

更進一步地，所述步驟S1中，將采集到的場景文本圖像按照4：1比例劃分訓練集和測試集，對劃分為訓練集中所有圖像的多方向文本進行標注，標簽為包圍文本實例的多邊形坐標和文本序列，得到帶標注的訓練數據集。

更進一步地，所述步驟S2中，構建文本識別網絡模型，用標注好的訓練樣本數據優化網絡模型參數，獲得最優的文本識別網絡模型，具體包括如下步驟：

S21、構建分割候選網絡，包括一個U-Net結構網絡模塊、一個特征融合模塊和兩個分割預測模塊；

S22、使用Masked RoI模塊，將僅含有0和1元素的二值多邊形masking矩陣與RoI特征按元素相乘得到masked RoI特征，其中二值多邊形masking矩陣表示在多邊形區域中全為1且在多邊形區域外全為0的軸對齊矩形的二進制映射，則masked RoI特征R計算為R＝RO*M，其中：RO為RoI特征，M為二值多邊形masking矩陣，*表示逐元素乘法；

S23、構建Fast RCNN網絡分支，包括一個分類任務和一個回歸任務，將步驟S22得到的masked RoI特征輸入該網絡，對文本區域提供更精確的定位；

S24、構建Mask掩膜分支，用來檢測和識別任意形狀的文本，所述Mask掩膜分支包括三個任務：文本實例分割任務、字符分割任務和文本序列識別任務；

S25、所述文本識別網絡模型中采用多任務損失函數：L＝L_sp+α₁L_rcnn+α₂L_mask，其中，

L_sp代表分割損失；