[發明專利]一種基于邊界點檢測的場景文本端到端識別方法

有效

• 申請號: 201911038568.1
• 申請日: 2019-10-29
• 公開（公告）號: CN110837835B
• 公開（公告）日: 2022-11-08
• 發明（設計）人: 劉文予;白翔;許永超;王豪;盧普;張輝;楊明錕;何夢超;王永攀
• 申請（專利權）人: 華中科技大學
• 主分類號: G06V30/148
• 分類號: G06V30/148;G06V10/44;G06V30/18;G06V10/774;G06V30/19;G06V10/764
• 代理公司: 深圳市六加知識產權代理有限公司 44372
• 代理人: 向彬

本發明公開了一種基于邊界點檢測的場景文本端到端識別方法，通過特征金字塔網絡提取文本特征，用于區域提取網絡生成候選文本框；然后通過多方向矩形檢測網絡檢測文本實例的更為精準的多方向包圍盒；其次在多方向包圍盒內檢測文本的上下兩條邊界點序列；最后利用檢測到的邊界點序列將任意形狀的文本轉化為水平文本供后續的基于注意力機制的序列識別網絡進行識別，最后利用集束搜索算法找到給定詞典中預測序列的最匹配單詞得到最終的文本識別結果。該方法可以在不需要字符級別的標注情況下同時檢測和識別自然圖像中任意形狀的場景文本，包括水平文本、多方向文本和曲形文本，并且可以完全地進行端到端訓練。

技術領域

本發明屬于計算機視覺技術領域，更具體地，涉及一種基于邊界點檢測的場景文本端到端識別方法。

背景技術

在計算機視覺領域中，場景文本檢測和識別是一個非常活躍并具有挑戰性的研究方向，很多實際應用都與它高度相關，例如網絡信息安全監控系統、智能交通系統以及盲人幫助等。

在過去的大多數研究中，場景文本檢測和識別技術被視為兩個分離的過程，即第一步使用訓練好的檢測器檢測自然場景圖片中的文字區域，第二步則將第一步檢測出的文字區域輸入識別模塊進行識別，獲取文字內容。由于檢測和識別任務高度相關，彼此之間具有互補性，一方面，檢測步驟的質量決定了識別的準確性；另一方面，識別的結果也可以為檢測提供反饋。這樣分開處理可能導致檢測和識別無法達到最優性能。

最近，有多種方法提出端到端識別的解決方案，這些方法大致可分為兩種。第一種方案遵循相似的處理流程：首先，文本實例被表示為水平或者多方向的包圍盒，利用檢測網絡來檢測出文本包圍盒，然后，根據檢測出的包圍盒從圖像或者特征圖上獲取文本圖像或特征給后續文本識別網絡來識別。由于文本實例被描述為水平或者多方向的包圍盒，此類方案很難處理任意形狀的文本。第二種方案由一個基于實例分割的文本檢測器和一個基于字符分割的文本識別器組成。通過分割實例文本區域的方法實現檢測任意形狀的文本；通過二維空間中的語義分割來識別文本，實現識別不規則文本實例。但是此類方法要求字符級別的標注，并且識別網絡無法對文字序列信息進行建模。因此需要設計一種經濟的，高效的端到端識別方法來處理任意形狀的場景文本。

發明內容

本發明的目的在于提供一種基于邊界點檢測的場景文本端到端識別方法，該識別方法由一個基于邊界點檢測的文本檢測器和一個基于注意力機制的序列識別的文本識別器組成。通過檢測文本實例的邊界點的方法實現檢測任意形狀的文本；根據檢測出的文本實例邊界點，利用薄板樣條插值算法將任意形狀的文本矯正為水平文本；通過基于注意力機制的序列識別的文本識別器來識別矯正后的文本，實現識別不規則文本實例。該方法可以檢測和識別任意形狀的文本實例并可以完全地進行端到端訓練。

為實現上述目的，本發明提供了一種任意形狀的場景文本的端到端識別方法，包括下述步驟：

(1)訓練基于邊界點檢測的場景文本端到端識別網絡模型，包括如下子步驟：

(1.1)對原始數據集中所有圖片的任意形狀文本進行單詞級別的標注，標簽為單詞級別的文本包圍盒的多邊形順時針頂點坐標和文本的單詞字符序列，得到帶標注的標準訓練數據集；

(1.2)定義基于邊界點檢測的場景文本端到端識別網絡模型，所述基于邊界點檢測的場景文本端到端識別網絡模型由特征金字塔結構網絡、區域提取網絡、多方向矩形檢測網絡、邊界點檢測網絡、基于注意力機制的序列識別網絡組成。根據(1.1)帶標注的標準訓練數據集，計算訓練標簽，并設計損失函數，利用反向傳導方法訓練該基于邊界點檢測的場景文本端到端識別網絡，得到基于邊界點檢測的場景文本端到端識別網絡模型；具體包括如下子步驟：