[發明專利]一種基于實例感知成分合并網絡的曲線文字定位方法

有效

• 申請號: 202010858258.0
• 申請日: 2020-08-24
• 公開（公告）號: CN112070082B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 趙凡;聞治泉;邵思迪;張琳
• 申請（專利權）人: 西安理工大學
• 主分類號: G06V20/62
• 分類號: G06V20/62;G06V30/19;G06V10/82;G06N3/048;G06N3/084
• 代理公司: 西安弘理專利事務所 61214
• 代理人: 王丹

本發明公開了一種基于實例感知成分合并網絡的曲線文字定位方法，具體包括如下步驟：步驟1，在場景文字數據集官網下載場景文字圖像數據集，將數據集劃分為訓練集和測試集；步驟2，設計一種ICMN網絡結構；步驟3，定義ICMN網絡目標損失函數；步驟4，制作訓練樣本集；步驟5，制作真值集合；步驟6，將訓練樣本集和對應的真值集合送入ICMN網絡中訓練，得到網絡模型；步驟7，從測試集中取出一張圖像，用曲線文字檢測算法對圖像進行多邊形文字成分檢測，將檢測的多邊形對迭代送入ICMN網絡模型中進行多邊形成分合并，得到合并后的文字實例多邊形。本發明解決了場景文本檢測方法對文本實例中相鄰或相交文本成分的合并問題，提高了場景文本檢測算法的性能。

技術領域

本發明屬于圖像處理技術領域，涉及一種基于實例感知成分合并網絡的曲線文字定位方法。

背景技術

近年來，自然場景文字信息提取已越來越廣泛地應用于多語言翻譯，自主導航，信息檢索，產品和對象識別中。文字提取包括文字檢測和文字識別，作為文字識別的重要前提，文字檢測在很大程度上吸引了眾多學者和行業研究人員的關注。隨著卷積神經網絡(CNNs)的發展和廣泛應用，許多基于深度學習的方法在自然場景文字檢測方面取得了顯著的效果。基于深度學習的文字檢測方法大致可以分為自頂向下和自底向上兩類方法。自頂向下的方法也被稱為基于回歸的方法，通常采用流行的目標檢測器在單詞或行級注釋的監督下對文字所在的矩形和四邊形進行位置回歸。由于文字的形狀，大小和方向的差異以及相應的CNN模型的結構限制，基于回歸的方法無法處理任意形狀的文本實例。自底向上方法首先用CNN檢測文本部件，然后將這些部件分組到文本實例中。與基于回歸的方法相比，自底向上方法在檢測任意形狀文本方面具有更大的靈活性，但在處理長文本時經常會出現將其檢測為多個文字成分而不是一個完整的文本實例，從而破壞語義的連貫性導致后續不完整的語義識別。

為了進一步提高曲線文本檢測結果的文本實例完整性，避免在處理長文本行或單詞時不準確的部件分組，有必要把屬于一個長文本實例中相鄰或相交的文本成分進行有效合并，因此需要設計一種基于文本實例感知的成分合并網絡(Instance-aware?ComponentMerging?Network,ICMN)，可以有效合并一個文字實例中相鄰或相交的文本子部分，定位完整的文字實例多邊形結果，提高曲線場景文本檢測算法的性能。

發明內容

本發明的目的是提供一種基于實例感知成分合并網絡的曲線文字定位方法，解決了場景文本檢測方法在文本實例中相鄰或相交的文本成分的合并問題，提高了場景文本檢測算法的性能。

本發明所采用的技術方案是，一種基于實例感知成分合并網絡的曲線文字定位方法，具體包括如下步驟：

步驟1，在場景文字數據集官網下載SCUT-CTW1500或Total-Text曲線場景文字圖像數據集D，按I:J的個數比例將D劃分為訓練文字圖像數據集TR＝{tr_i|i＝1,2...I}和測試文字圖像數據集TE＝{te_j|j＝1,2...J}，其中tr_i是TR中的第i幅文字圖像，te_j是TE中的第j幅文字圖像，I和J分別是TR和TE中的圖像個數；

步驟2，設計一種ICMN網絡結構；

步驟3，定義ICMN網絡的目標損失函數L，L＝L_cls+λL_reg，其中L_cls表示文字成分合并或不合并二分類損失值，L_reg表示文字實例的空間坐標回歸損失值，λ是超參數；

步驟4，制作訓練樣本集Mtrain；

步驟5，制作真值集合Gs；

步驟6，設置網絡模型訓練參數，將訓練樣本集Mtrain以及對應的真值集合Gs送入ICMN網絡中進行訓練，當目標函數L收斂或者達到迭代設置次數時，結束網絡訓練，輸出網絡模型M_ICMN；