[發明專利]一種面向礦井多源異構圖文信息的文本識別方法及裝置

在審

• 申請號: 202011566285.7
• 申請日: 2020-12-25
• 公開（公告）號: CN112633287A
• 公開（公告）日: 2021-04-09
• 發明（設計）人: 江曼;郭林;程德強;寇旗旗
• 申請（專利權）人: 中國礦業大學;江蘇華圖礦業科技有限公司
• 主分類號: G06K9/34
• 分類號: G06K9/34;G06K9/62;G06N3/08;G06N3/04
• 代理公司: 北京天達知識產權代理事務所(普通合伙) 11386
• 代理人: 竇艷鵬

本發明涉及一種面向礦井多源異構圖文信息的文本識別方法及裝置，屬于計算機視覺技術領域，解決了現有的多源異構圖文信息的文本識別方法獲得的多源異構圖文信息精度較差且速度較慢的問題。方法包括：獲取包含礦井多源異構圖文信息的原始輸入圖像；基于分割建議網絡SPN對原始輸入圖像進行分割，得到原始輸入圖像的文本建議區域；對文本建議區域進行特征提取，得到原始輸入圖像的超分辨率文本建議區域；基于快速卷積神經網絡Fast R?CNN和超分辨率文本建議區域獲取原始輸入圖像的文本檢測框；基于循環神經網絡RNN提取文本檢測框中的字符，得到原始輸入圖像中的礦井多源異構圖文信息。實現了原始輸入圖像中的礦井多源異構圖文信息的識別。

技術領域

本發明涉及計算機視覺技術領域，尤其涉及一種面向礦井多源異構圖文信息的文本識別方法及裝置。

背景技術

煤炭是我國國民經濟發展的基礎，但是井下作業環境復雜，工作人員及設備的監管調配難度大，且安全隱患較多，導致礦難頻繁發生，研究井下安全生產的各類圖文數據報表、關鍵設備銘牌及標識符的自動識別與錄入，可以對煤礦井下環境中的人、設備的各種參數和作業狀態進行實時監測和管理，有利于資源的合理調配與協作，且能更好的消除各種安全隱患，同時對礦難發生時的及時搶救，減少生命財產損失有著重要的意義。但是，當前煤礦井下各類圖文數據信息的類型多樣，通常包括漢字、英文字母、漢語拼音、數字及符號等多種類型的文本信息，這對實現井下各類生產的圖文數據的自動錄入帶來了極大的挑戰。因此，研究面向礦井多源異構圖文信息的文本識別方法及裝置是保證煤礦安全開采至關重要的環節。

多源異構圖文信息的文本識別方法(Multilingual Scene Text Spotting)：是指通過設計一種網絡模型，對不同文本構成形式及呈現方式的場景圖片中文本進行檢測與識別。目前，現有的多源異構圖文信息的文本識別方法存在的缺陷包括：第一、目前場景文本檢測與識別大多是兩階段分開處理，先通過訓練好的檢測器對自然場景圖片生成文本實例區域，再送入識別模塊對實例區域內的文本進行識別兩個階段分開進行，識別速度慢，時間長，工作量大。第二、目前的研究成果主要針對水平或者定向的文本識別，但是現實世界場景中的文本實例可能是水平、定向，也可能是彎曲的。第三、目前的場景文本識別方法主要針對高清質量圖片，但是面向礦井的多源異構圖文場景文本通常存在圖片灰暗模糊、圖片質量低的問題。

發明內容

鑒于上述的分析，本發明實施例旨在提供一種面向礦井多源異構圖文信息的文本識別方法及裝置，用以解決現有的多源異構圖文信息的文本識別方法獲得的多源異構圖文信息精度較差且速度較慢的問題。

一方面，本發明實施例提供了一種面向礦井多源異構圖文信息的文本識別方法，包括下述步驟：

獲取包含礦井多源異構圖文信息的原始輸入圖像；

基于分割建議網絡SPN對所述原始輸入圖像進行分割，得到原始輸入圖像的文本建議區域；

對所述文本建議區域進行特征提取，得到原始輸入圖像的超分辨率文本建議區域；

基于快速卷積神經網絡Fast R-CNN和所述超分辨率文本建議區域獲取原始輸入圖像的文本檢測框；

基于循環神經網絡RNN提取所述文本檢測框中的字符，得到原始輸入圖像中的礦井多源異構圖文信息。

進一步，所述分割建議網絡SPN包括：

卷積池化層，用于提取所述原始輸入圖像的特征映射；

連接裁剪層，用于對所述卷積池化層輸出的原始輸入圖像的特征映射進行裁剪，得到多個特征映射；

融合層，用于對所述連接裁剪層輸出的多個特征映射進行融合，得到特征映射圖；

歸一化層，用于對所述融合層輸出的特征映射圖進行歸一化，得到文本建議分割圖；