[發明專利]基于通道注意力的圖像語義分割方法及裝置

有效

• 申請號: 202110837049.2
• 申請日: 2021-07-23
• 公開（公告）號: CN113361537B
• 公開（公告）日: 2022-05-10
• 發明（設計）人: 郭俊波;郭筱鳳;靳國慶;馬凌峰;謝洪濤;張勇東
• 申請（專利權）人: 人民網股份有限公司;北京中科研究院
• 主分類號: G06V10/26
• 分類號: G06V10/26;G06V10/46;G06N3/04;G06N3/08
• 代理公司: 北京市浩天知識產權代理事務所(普通合伙) 11276
• 代理人: 宋菲

1.一種基于通道注意力的圖像語義分割方法，其特征在于，所述方法包括：

對原始圖像進行預處理，得到待分割的輸入圖；

將所述輸入圖輸入至圖像語義分割模型的特征提取網絡中，利用所述特征提取網絡對所述輸入圖進行特征提取，得到所述輸入圖對應的特征圖；其中，所述特征提取網絡的各個階段的各個瓶頸模塊中插入有通道注意力模塊；針對輸入至所述通道注意力模塊的輸入特征，所述通道注意力模塊的處理過程如下：將所述輸入特征經過水平池化和豎直池化，得到兩個矩陣；從通道角度使用1維卷積并行處理所述兩個矩陣，并進行歸一化處理后取平均值，得到通道權重；所述通道權重具體為利用以下公式得到：

其中，ω_k代表權重向量的第k個元素，k＝1,2,…,C，σ為激活函數，為第k個卷積窗口區域，W^h和W^v為卷積核參數，為輸入特征經水平池化的矩陣，為輸入特征經垂直池化的矩陣，C為通道數，W為寬，H為高；

將所述特征圖輸入至圖像語義分割模型的解碼器中，利用所述解碼器對所述特征圖進行處理，得到預測分割圖。

2.根據權利要求1所述的圖像語義分割方法，其特征在于，所述將所述輸入特征經過水平池化和豎直池化，得到兩個矩陣具體為利用如下公式對輸入特征進行處理：

其中，輸入特征為進而得到兩個矩陣

3.根據權利要求1所述的圖像語義分割方法，其特征在于，所述對原始圖像進行預處理，得到待分割的輸入圖進一步包括：

在訓練階段，將原始圖像進行隨機縮放處理；

采用隨機旋轉、高斯模糊和隨機水平旋轉的數據增廣策略對經過隨機縮放處理后的原始圖像進行變換；

在變換后的圖像中隨機裁剪預設尺寸大小的區域，作為待分割的輸入圖。

4.根據權利要求1所述的圖像語義分割方法，其特征在于，所述對原始圖像進行預處理，得到待分割的輸入圖進一步包括：

在測試階段，采用滑窗在原始圖像上截取預設尺寸大小的圖像塊，作為待分割的輸入圖。

5.一種基于通道注意力的圖像語義分割裝置，其特征在于，所述裝置包括：

預處理模塊，用于對原始圖像進行預處理，得到待分割的輸入圖；

編碼器，用于接收所述輸入圖，利用特征提取網絡對所述輸入圖進行特征提取，得到所述輸入圖對應的特征圖；其中，所述特征提取網絡的各個階段的各個瓶頸模塊中插入有通道注意力模塊；

解碼器，用于接收所述特征圖，對所述特征圖進行處理，得到預測分割圖；

其中，所述通道注意力模塊用于：

將輸入特征經過水平池化和豎直池化，得到兩個矩陣；

從通道角度使用1維卷積并行處理所述兩個矩陣，并進行歸一化處理后取平均值，得到通道權重，所述通道權重具體為利用以下公式得到：

其中，ω_k代表權重向量的第k個元素，k＝1,2,…,C，σ為激活函數，為第k個卷積窗口區域，W^h和W^v為卷積核參數，為輸入特征經水平池化的矩陣，為輸入特征經垂直池化的矩陣，C為通道數，W為寬，H為高。

6.根據權利要求5所述的圖像語義分割裝置，其特征在于，所述通道注意力模塊具體用于利用如下公式對輸入特征進行處理：

其中，輸入特征為進而得到兩個矩陣

7.一種計算設備，包括：處理器、存儲器、通信接口和通信總線，所述處理器、所述存儲器和所述通信接口通過所述通信總線完成相互間的通信；

所述存儲器用于存放至少一可執行指令，所述可執行指令使所述處理器執行如權利要求1-4中任一項所述的基于通道注意力的圖像語義分割方法對應的操作。

8.一種計算機存儲介質，所述存儲介質中存儲有至少一可執行指令，所述可執行指令使處理器執行如權利要求1-4中任一項所述的基于通道注意力的圖像語義分割方法對應的操作。