[發明專利]基于注意力特征融合和空洞殘差特征增強的文本檢測方法

在審

• 申請號: 202110664914.8
• 申請日: 2021-06-16
• 公開（公告）號: CN113486890A
• 公開（公告）日: 2021-10-08
• 發明（設計）人: 李利榮;張開;張云良;陳鵬;熊煒
• 申請（專利權）人: 湖北工業大學
• 主分類號: G06K9/34
• 分類號: G06K9/34;G06K9/62;G06N3/04
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 胡琦旖

1.基于注意力特征融合和空洞殘差特征增強的文本檢測方法，其特征在于，包括以下步驟：

步驟1：對包含文本的自然場景圖片進行特征提取，得到多尺度特征圖；

步驟2：對所述多尺度特征圖中的頂層特征圖進行降維處理，所述頂層特征圖通過空洞殘差特征增強模塊生成全新的頂層特征圖，所述全新的頂層特征圖作為深層特征圖參與后續的特征融合；

步驟3：采用雙向特征金字塔與注意力特征融合模塊相結合的方式，進行多層的特征融合；

步驟4：對融合后的特征圖進行后處理，實現任意形狀文本的檢測。

2.根據權利要求1所述的基于注意力特征融合和空洞殘差特征增強的文本檢測方法，其特征在于，所述步驟1中，將包含文本的自然場景圖片作為輸入圖片送到主干神經網絡中進行提取特征，所述主干神經網絡使用具有分散注意力機制的ResNeSt50作為前端特征提取網絡。

3.根據權利要求1所述的基于注意力特征融合和空洞殘差特征增強的文本檢測方法，其特征在于，所述多尺度特征圖包括：大小為160×160×64的第一特征圖C1、大小為80×80×128的第二特征圖C2、大小為40×40×256的第三特征圖C3和大小為20×20×512的第四特征圖C4，所述第四特征圖作為所述頂層特征圖。

4.根據權利要求1所述的基于注意力特征融合和空洞殘差特征增強的文本檢測方法，其特征在于，所述步驟2中，結合空洞卷積模塊與殘差特征增強模塊得到所述空洞殘差特征增強模塊；所述空洞卷積模塊包括四個3×3的空洞卷積層和一個全局池化層，四個所述空洞卷積層從左至右的空洞卷積率分別為1、2、4、8；所述殘差特征增強模塊包括自適應池化、1×1卷積的降采樣操作、雙線性插值上采樣操作、自適應空間融合操作。

5.根據權利要求4所述的基于注意力特征融合和空洞殘差特征增強的文本檢測方法，其特征在于，所述步驟2包括以下子步驟：

步驟2.1：將所述頂層特征圖通過自適應池化進行降采樣得到三個輸出特征圖，對應的尺寸分別為α₁×h×w、α₁×h×w、α₃×h×w；其中，w、h分別為所述頂層特征圖的寬和高，α₁、α₂、α₃的取值分別為0.1，0.2，0.3；

步驟2.2：將步驟2.1得到的三個輸出特征圖通過1×1的卷積進行降采樣，再通過雙線性插值將它們上采樣到相同尺度進行合并，得到比例不變的上下文特征，將所述比例不變的上下文特征通過自適應空間融合操作處理后得到空間權重特征，其中，所述自適應空間融合操作包括1×1卷積、3×3卷積和Sigmoid激活函數，將所述空間權重特征與所述比例不變的上下文特征進行融合得到融合特征圖；

步驟2.3：將所述融合特征圖送入到所述空洞卷積模塊中，將所述空洞卷積模塊生成的特征圖與所述頂層特征圖進行求和，得到所述全新的頂層特征圖。

6.根據權利要求1所述的基于注意力特征融合和空洞殘差特征增強的文本檢測方法，其特征在于，所述步驟3中，結合通道注意力模塊和空間注意力增強模塊得到所述注意力特征融合模塊。

7.根據權利要求6所述的基于注意力特征融合和空洞殘差特征增強的文本檢測方法，其特征在于，所述步驟3包括以下子步驟：

步驟3.1：將相鄰尺度的特征圖分別輸入至所述通道注意力模塊中，所述通道注意力模塊將通道權重分配給特征圖中各個尺度的特征上，得到通道注意力加權的特征圖；將兩個支路分別輸出的所述通道注意力加權的特征圖經行拼接操作，拼接之后的特征圖輸入至所述空間注意力增強模塊中，得到空間特征權重圖；將所述空間特征權重圖與所述拼接之后的特征圖進行相乘，得到第一融合特征圖；

步驟3.2：采用雙向特征金字塔的方法，對所述多尺度特征圖C1、C2、C3、C4進行從上至下、從下至上的進行步驟3.1的操作，得到融合雙向特征金字塔兩個方向的特征的第一融合特征圖。