[發明專利]連通雙注意力多尺度融合語義分割網絡

在審

• 申請號: 202310657427.8
• 申請日: 2023-06-05
• 公開（公告）號: CN116630626A
• 公開（公告）日: 2023-08-22
• 發明（設計）人: 王麗輝
• 申請（專利權）人: 吉林農業科技學院
• 主分類號: G06V10/26
• 分類號: G06V10/26;G06V10/80;G06V10/82;G06N3/0464;G06N3/084
• 代理公司: 長春市吉利專利事務所(普通合伙) 22206
• 代理人: 王顯文

1.連通雙注意力多尺度融合語義分割網絡，其特征在于：通過編碼器——解碼器結構實現輸入圖像關鍵特征的提取與融合，通過密集連接的雙注意力模塊對輸入圖像的特征圖信息施加雙重注意力，結合卷積融合子模塊對不同尺度特征圖信息進行聚合，并保留底層關鍵紋理信息，利用反向傳播方法更新網絡模型的參數。

2.連通雙注意力多尺度融合語義分割網絡，其特征在于，包括：

面向特征提取的卷積子模塊，通過級聯的雙卷積結構提取特征，并采用卷積核大小為7×7的深度可分離卷積與1×1大小的通道卷積來增大感受野，同時采用殘差分支保障訓練過程的穩定性；

融合雙注意力機制的多尺度融合子模塊，對不同尺度通道的特征圖信息通過卷積算子進行融合，再通過對低分辨率特征圖的施加關鍵的空間注意力與通道注意力，采用數字點乘的方式，將高維度注意力矩陣映射到經卷積融合的特征圖上，同時結合殘差分支，將原始高分辨率特征圖加入到融合雙注意力的特征圖中；

卷積多尺度聚合子模塊，在連通雙注意力多尺度融合語義分割網絡每一個尺度節點的后端，采用拼接與卷積融合的方式實現不同特征圖信息的拼接，擴大信息感知能力，采用雙重卷積的模式，擴大對輸入圖像的感受野信息；

保留細粒度紋理信息的剪支殘差子模塊，通過殘差結構下的卷積結構，保留輸入圖像的空間細粒度信息與關鍵的邊界信息信息。

3.根據權利要求1所述的連通雙注意力多尺度融合語義分割網絡，其特征在于：以Unet方法為基線方法，但是在每一個尺度結構上，中間填充了融合雙注意力機制的多尺度融合子模塊，通過相鄰的兩個尺度信息進行特征分析與聚合，施加關鍵注意力，并通過保留細粒度紋理信息的剪支殘差子模塊與拼接輸入原圖像信息的方式，保留關鍵的缺陷紋理邊界信息。

4.根據權利要求2所述的面向特征提取的卷積子模塊，其特征在于：采用連續的2個卷積核大小為3×3的卷積，并在每一個卷積之間插入批均值化算子與激活函數Relu。

5.根據權利要求2所述的融合雙注意力機制的多尺度融合子模塊，其特征在于：采用1×1大小的通道卷積與2×2大小的上采樣算子融合信息，并采用7×7大小的空間注意力算子，凝練空間上的關鍵輸入信息，并采用平均池化算子與1×1大小的通道卷積，形成色彩層面上的通道注意力信息，對上述兩個注意力特征信息采用矩陣廣播的方式進行點乘，獲取雙注意力特征信息圖。

6.根據權利要求2所述的卷積多尺度聚合子模塊，其特征在于：通過1×1大小的通道卷積調整不同分辨率特征圖的通道數量，采用拼接的方式實現不同尺度上的信息融合，后續卷積塊中采用3×3大小的卷積，擴大網絡模型的感受野范圍大小。

7.根據權利要求2所述的保留細粒度紋理信息的剪支殘差子模塊，其特征在于：采用3×3大小的卷積結構，通過批均值量化和激活函數Relu對輸入圖像進行邊界獲取，并采用1×1調制特征圖的數值范圍，殘差結構采用1×1大小的卷積，實現輸入特征信息的融合。