[發明專利]一種基于多任務學習的場景文本檢測方法及系統

有效

• 申請號: 202211298048.6
• 申請日: 2022-10-22
• 公開（公告）號: CN115546778B
• 公開（公告）日: 2023-06-13
• 發明（設計）人: 彭良瑞;丁寧;劉長松
• 申請（專利權）人: 清華大學
• 主分類號: G06V20/62
• 分類號: G06V20/62;G06V30/146;G06V30/19;G06V10/766;G06V10/80;G06V10/82
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張潤

本發明公開了一種基于多任務學習的場景文本檢測方法及系統，該方法包括：將場景圖像輸入至文本檢測模型，文本檢測模型，包括主干網絡、特征金字塔網絡、區域候選網絡和檢測網絡，其中，利用主干網絡和特征金字塔網絡對場景圖像進行特征提取，得到多尺度特征圖，將多尺度特征圖輸入區域候選網絡得到候選區域特征圖，并利用檢測網絡對候選區域特征圖進行文本檢測得到文本檢測結果；其中，檢測網絡的結構，包括外接框回歸分支、掩膜預測分支與文本識別分支的多任務學習級聯細化網絡結構。本發明對于場景圖像復雜的前景和背景變化有較強的適應能力，可以提高文本檢測性能。

技術領域

本發明涉及信息處理技術領域，尤其涉及一種基于多任務學習的場景文本檢測方法及系統。

背景技術

自然場景文本是指存在于任意自然場景中的文本內容，例如道路路牌、廣告牌、商場指示牌、商品包裝等場景文本。與文檔圖像相比，自然場景圖像中的文本檢測面臨更多的困難和挑戰：

(1)從文本本身來看，自然場景中的文字的類型更為豐富，體現在其大小、類別、顏色、字體類型等方面會產生諸多變化；不同語種的文字往往會混合在一起；文字的排列方式和分布情況可能具有不規則、不均勻的特點。

(2)文本所處的背景更為復雜多樣；自然場景文本圖像受光照差異、拍照角度等因素的影響會產生更多的噪聲。

早期的自然場景文本檢測算法主要是基于傳統手工設計的特征(handcraftfeatures)；近年來，隨著深度學習方法興起，諸如卷積神經網絡(convolutional?neuralnetworks,CNN)等方法取得了較大的進展，但對于場景文本復雜的前景和背景變化的適應能力仍有不足。

發明內容

本發明旨在至少在一定程度上解決相關技術中的技術問題之一。

為此，本發明的目的在于提出一種基于多任務學習的場景文本檢測方法，包括主干網絡、檢測分支和訓練策略等部分。在主干網絡方面，以基于自注意力機制的SwinTransformer網絡為基礎網絡，設計實現了采用多個基礎網絡的高層和低層特征融合的CBSwin主干網絡；在檢測分支方面，集成了文字識別模塊，并設計出一個將文本外接框回歸、掩膜預測和文本識別任務進行級聯細化的檢測分支；在文本檢測任務訓練策略方面，采用了對樣本進行幾何變換和色彩空間調整的數據增強方法。

本發明的另一個目的在于提出一種基于多任務學習的場景文本檢測系統。

為達上述目的，本發明一方面提出了一種基于多任務學習的場景文本檢測方法，包括：

將場景圖像輸入至文本檢測模型，所述文本檢測模型，包括主干網絡、特征金字塔網絡、區域候選網絡和檢測網絡，其中，

利用所述主干網絡和所述特征金字塔網絡對所述場景圖像進行特征提取，得到多尺度特征圖，將所述多尺度特征圖輸入所述區域候選網絡得到候選區域特征圖，并利用所述檢測網絡對所述候選區域特征圖進行文本檢測得到文本檢測結果；其中，所述檢測網絡的結構，包括外接框回歸分支、掩膜預測分支與文本識別分支的多任務學習級聯細化網絡結構。

根據本發明實施例的基于多任務學習的場景文本檢測方法還可以具有以下附加技術特征：

進一步地，在本發明的一個實施例中，在所述將場景圖像輸入至文本檢測模型之前，所述方法，還包括：對所述場景圖像的色彩屬性信息進行隨機調整操作，得到色彩空間變換圖像；對所述場景圖像隨機進行旋轉和剪切操作，得到幾何空間變換圖像；基于所述色彩空間變換圖像和所述幾何空間變換圖像得到數據增強后的場景圖像。