[發明專利]一種基于多尺度空間注意力的輕量化顯著性檢測方法

有效

• 申請號: 202211098512.7
• 申請日: 2022-09-03
• 公開（公告）號: CN115375922B
• 公開（公告）日: 2023-08-25
• 發明（設計）人: 沈坤燁;張翥佳;周曉飛;張繼勇;李世鋒;周振;何帆
• 申請（專利權）人: 杭州電子科技大學;中電數據服務有限公司
• 主分類號: G06V10/52
• 分類號: G06V10/52;G06N3/0464;G06N3/048;G06N3/08;G06V10/32;G06V10/34;G06V10/80;G06V10/82;G06V10/26
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于多尺度空間注意力的輕量化顯著性檢測方法，其特征在于：包括以下步驟：

步驟一、構建多尺度特征提取模塊，并對輸入信息進行處理；

將輸入多尺度特征提取模塊的信息分別通過不同膨脹率的深度可分離卷積，獲得4種感受野下的多尺度特征；再利用深度可分離卷積融合多尺度特征作為模塊輸出；其過程可表示為：

其中，表示多尺度特征，表示卷積核尺寸為3×3，膨脹率為2ⁱ的深度可分離卷積，IFeature表示模塊輸入信息，OFeature表示模塊輸出信息；

步驟二、依據深度可分離卷積及多尺度特征提取模塊構建編碼器，用于獲取多級語義特征；

利用卷積，批量歸一化操作和Relu激活函數及步驟一構建的多尺度特征提取模塊構成編碼器的第一層；其次，利用步長為2的深度可分離卷積與多尺度特征提取模塊分別構成編碼器的第二層至第五層，其過程可表示為：

其中，表示編碼器提取獲得的多級語義特征，MSFA_i表示i個連續的多尺度特征提取模塊，Conv表示卷積，批量歸一化操作和Relu激活函數，Input表示模型輸入圖像，DSConv₂表示步長為2的深度可分離卷積；

步驟三、構建多尺度空間注意力模塊；

利用三種不同膨脹率的深度可分離卷積對輸入信息進行處理；經過卷積核尺寸為1×1的卷積層和sigmoid激活函數，得到空間注意力圖；后將空間注意力圖與輸入信息進行點乘操作，得到加權強化后的信息；將加權強化后的信息作為多尺度空間注意力模塊輸出；其過程可表示：

OFeature＝SWeight*IFeature

其中，SWeight表示空間注意力圖，Sigmoid表示sigmoid激活函數，Conv_1×1表示卷積核尺寸為1×1的卷積層，表示膨脹率為i的深度可分離卷積，IFeature表示輸入信息，OFeature表示輸出信息，*表示點乘操作；

步驟四、依據深度可分離卷積與多尺度空間注意力模塊構建解碼器；

利用卷積核尺寸分別為3×3和5×5的深度可分離卷積以及步驟三構建的多尺度空間注意力模塊組成解碼器各層；其次，將編碼器對應層特征與解碼器上一層特征通過相加操作融合，送入解碼器相應層中；最后，依次通過卷積核尺寸為3×3的深度可分離卷積，多尺度空間注意力模塊以及卷積核尺寸為5×5的深度可分離卷積，得到解碼器各層輸出；其過程可表示為：

其中，表示解碼器各層對應的輸出，表示卷積核尺寸為3×3膨脹率為2的深度可分離卷積，MSSA表示多尺度空間注意力模塊，表示卷積核尺寸為5×5的深度可分離卷積，表示編碼器對應層的輸出，Up表示雙線性插值的上采樣操作，+表示相加操作；

步驟五、以編碼器、解碼器為基礎，建立輕量化顯著性檢測模型；

依據編碼器從輸入圖像提取多級語義特征通過解碼器融合來自編碼器對應層的特征以及解碼器上一層的特征，得到解碼器各層輸出后將解碼器最后一層輸出經過Dropout層，卷積核尺寸為1×1的卷積層以及Sigmoid函數得到最終顯著性預測圖，構建完整的輕量化顯著性檢測模型；其過程可表示為：

其中，Sal表示模型最終預測圖，Sigmoid表示sigmoid函數，Conv_1×1表示卷積核尺寸為1×1的卷積層，Dropout表示概率為0.1的Dropout層，表示解碼器最后一層輸出特征；

步驟六、對所建立輕量化顯著性檢測模型進行訓練，并保存訓練所得最終模型參數。

2.根據權利要求1所述的一種基于多尺度空間注意力的輕量化顯著性檢測方法，其特征在于：所述步驟六具體包括：

將圖像尺寸統一調整為368×368；然后隨機裁剪為336×336，批處理大小設置為12；利用Pytorch框架進行訓練部署；采用交叉熵損失函數計算預測圖與真值圖之間的差異，利用Adam優化器進行參數更新操作，初始學習率設置為1.5×10^-3。