[發明專利]文字檢測方法、裝置、電子設備及存儲介質

在審

• 申請號: 202010055009.8
• 申請日: 2020-01-17
• 公開（公告）號: CN111291759A
• 公開（公告）日: 2020-06-16
• 發明（設計）人: 李楠;段晨;劉曦;張睿
• 申請（專利權）人: 北京三快在線科技有限公司
• 主分類號: G06K9/34
• 分類號: G06K9/34;G06K9/62;G06N3/04;G06T7/13
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 任亞娟

本申請實施例公開了一種文字檢測方法、裝置、電子設備及存儲介質，該方法包括：將待檢測圖像輸入卷積神經網絡，提取多層級特征；根據所述多層級特征，生成金字塔特征；針對所述金字塔特征的每層特征圖，提取各個特征點之間的關聯關系，得到相關性金字塔特征；確定所述相關性金字塔特征中每層相關性特征圖對應的文字邊界框；根據每層相關性特征圖對應的文字邊界框，確定所述待檢測圖像中的文字邊界框。本申請實施例通過提取金字塔特征中每層特征圖各個特征點之間的關聯關系，得到的相關性金字塔特征中包括了全局信息，從而結合全局信息和局部信息，可以減少特征點回歸錯誤的情況，從而可以提高檢測結果的準確性。

技術領域

本申請實施例涉及目標檢測技術領域，特別是涉及一種文字檢測方法、裝置、電子設備及存儲介質。

背景技術

文字檢測領域中常用的框架都是基于錨點(anchor-based)的，比如CTPN、FasterR-CNN等。基于錨點的檢測方法在通過卷積得到的特征圖上進行滑窗操作，滑窗的中心點在原圖上的映射點稱為錨點，以錨點為中心，生成k個不同大小、不同長寬比的目標候選區域。基于錨點的檢測方法受錨點的數量，目標候選區域的長寬比及形狀的限制，很難進行更深層次的提高。而anchor-free方法擺脫錨點的限制，是對每個特征點進行分類和回歸，直接學習目標存在的可能性和邊界框(bounding box)的坐標。

目前采用anchor-free檢測方法的框架有FCOS，如圖1所示，FCOS方法包括四個組件：1)特征提取主干網絡，采用卷積神經網絡(Convolutional Neural Networks，CNN)和特征金字塔網絡(Feature Pyramid Networks，FPN)提取圖片特征；2)分類分支，對特征金字塔網絡中每層特征圖上的特征點進行分類，用于區分是正樣本還是負樣本；3)回歸分支，對分類分支判斷為正樣本的特征點進行坐標回歸，估計目標對象的位置；(4)中心點(Centerness)分支，用于計算每個目標框內的點和目標框中心點的距離，使中心點的預測盡可能位于目標區域的中心。在訓練與預測過程中，圖片首先進入特征提取主干網絡，提取出特征圖；然后在每層特征圖上通過分類分支、回歸分支和中心點分支實現目標的分類與回歸。

現有技術直接在金字塔特征的每層特征圖上對每個特征點進行分類和回歸，容易導致特征點分類回歸錯誤，導致文字檢測結果準確性低。

發明內容

本申請實施例提供一種文字檢測方法、裝置、電子設備及存儲介質，有助于提高文字檢測結果準確性。

為了解決上述問題，第一方面，本申請實施例提供了一種文字檢測方法，包括：

將待檢測圖像輸入卷積神經網絡，提取多層級特征；

根據所述多層級特征，生成金字塔特征；

針對所述金字塔特征的每層特征圖，提取各個特征點之間的關聯關系，得到相關性金字塔特征；

確定所述相關性金字塔特征中每層相關性特征圖對應的文字邊界框；

根據每層相關性特征圖對應的文字邊界框，確定所述待檢測圖像中的文字邊界框。

第二方面，本申請實施例提供了一種文字檢測裝置，包括：

多層級特征提取模塊，用于將待檢測圖像輸入卷積神經網絡，提取多層級特征；

金字塔特征生成模塊，用于根據所述多層級特征，生成金字塔特征；

關聯關系提取模塊，用于針對所述金字塔特征的每層特征圖，提取各個特征點之間的關聯關系，得到相關性金字塔特征；

層級邊界框確定模塊，用于確定所述相關性金字塔特征中每層相關性特征圖對應的文字邊界框；

檢測結果確定模塊，用于根據每層相關性特征圖對應的文字邊界框，確定所述待檢測圖像中的文字邊界框。