[發明專利]基于精細字符分割的場景文本識別方法

在審

• 申請號: 202110276064.4
• 申請日: 2021-03-15
• 公開（公告）號: CN113065561A
• 公開（公告）日: 2021-07-02
• 發明（設計）人: 劉義江
• 申請（專利權）人: 國網河北省電力有限公司;國網河北省電力有限公司雄安新區供電公司
• 主分類號: G06K9/34
• 分類號: G06K9/34;G06K9/62;G06N3/04
• 代理公司: 石家莊新世紀專利商標事務所有限公司 13100
• 代理人: 董金國;黃敬霞

本發明屬于文本識別領域，涉及一種基于精細字符分割的場景文本識別方法，由處理器執行實現：接收規定尺寸的包含場景文本的輸入圖片；使用場景文本識別網絡中基于全連接結構的字符分割網絡將所述輸入圖片處理為同尺寸的文本分割圖，所述文本分割圖包含出入圖片在各像素的字符分布特征信息；使用場景文本識別網絡中的基于注意力機制的文本識別網絡根據所述文本分割圖獲得所述輸入圖片的文本識別結果。

技術領域

本發明屬于文本識別領域，具體涉及一種采用精細字符分割文本圖像進而實現場景文本識別的方法。

背景技術

場景文本識別(Scene Text Recognition，STR)是計算機視覺領域的一個重要技術問題，它的任務是識別自然場景圖片中的文字信息。自然場景圖片中的文字識別，其難度遠大于掃描文檔圖像中的文字識別，因為它的文字展現形式極其豐富。由于場景文本識別存在巨大的應用價值，近年來在工業界和學術界引起很多人的研究和探索。現有技術對背景簡單的水平文本具有較好的識別效果，然而在真實場景中，由于場景中光照、遮擋等環境因素，拍照設備、角度等人為因素以及文本本身彎曲、傾斜、藝術字等實際因素影響，現有技術的場景文本識別方法難以解決。

現有的場景文本識別方法在解碼階段采用基于注意力機制的解碼器，從而能夠自動關注到圖片中的字符區域。這些方法能夠有效地提高場景文本識別模型的準確率，但是由于場景圖片過于嘈雜，經常會出現“注意力漂移”等問題，從而降低了文本識別的準確率。

發明內容

為解決背景信息嘈雜圖片的場景文本識別，本發明旨在提供一種基于精細字符分割的場景文本識別方法，該方法能夠在背景信息嘈雜圖片中有效處理彎曲、傾斜等不規則文本的識別問題。

本發明提供技術方案是一種基于精細字符分割的場景文本識別方法，由處理器執行程序指令實現，該方法包括：

接收規定尺寸的包含場景文本的輸入圖片；

使用場景文本識別網絡中基于全連接結構的字符分割網絡將所述輸入圖片處理為同尺寸的文本分割圖，所述文本分割圖包含出入圖片在各像素的字符分布特征信息；

使用場景文本識別網絡中的基于注意力機制的文本識別網絡根據所述文本分割圖獲得所述輸入圖片的文本識別結果。

優選的，所述字符分割網絡為基于ResNet的全連接網絡。

優選的，所述字符分割網絡在輸出前將其下采樣階段最下層的若干輸出特征圖通過上采樣為與輸出等尺寸的特征圖并于其最上層的輸出特征圖進行融合，并以融合結果輸出。

優選的，所述文本識別網絡獲得所述輸入圖片的文本識別結果的方法包括：通過一特征提取器獲得所述文本分割圖的特征圖V，然后使用基于注意力機制的編解碼結構對所述特征圖V進行識別。

優選的，所述特征圖V包含沿所述輸入圖片文字延展方向的最大池化后的特征向量。

優選的，所述基于注意力機制的編解碼結構包括：由兩層的LSTM組成的編碼器，以及，由兩層的LSTM組成的解碼器；所述編碼器與所述解碼器不共享參數。進一步優選的，所述編碼器在每個時間步長接收一列的特征圖V，然后沿與文字延伸方向正交的方向進行最大池化；所述編碼器，在與特征圖V的寬相同的W步之后，LSTM第二層的最終隱藏狀態向所述解碼器輸出；所述最終隱藏狀態被視為輸入圖像的固定尺寸表示，體現輸入圖片的整體特征。進一步優選的，所述解碼器在其時間步驟0接收所述編碼器輸出的整體特征。然后在步驟1將開始令牌，即編碼固定的“START”令牌，輸入到LSTM。從步驟2開始，上一步的輸出被饋送回到LSTM輸入直到其收到結束令牌，即編碼固定的“END”令牌后終止并輸出。

優選的，所述文本識別網絡實現注意力機制的方法在于,根據以下數學模型考慮文本分割圖相鄰區域的信息，并參與所述解碼器解碼：