[發明專利]基于注意力機制的輕量化語義分割模型構建方法

有效

• 申請號: 202110638043.2
• 申請日: 2021-06-08
• 公開（公告）號: CN113240683B
• 公開（公告）日: 2022-09-20
• 發明（設計）人: 張霖;楊源
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06T7/10
• 分類號: G06T7/10;G06N3/04;G06N3/08
• 代理公司: 北京睿智保誠專利代理事務所(普通合伙) 11732
• 代理人: 王燦;周新楣

1.基于注意力機制的輕量化語義分割模型構建方法，其特征在于，包括以下步驟：

給定圖像I，對應的真實標簽圖GT，構成訓練集：

步驟1、模型建立，采用AHSP模塊、Channel Attention Sum、Criss-Cross AttentionSum、Channel Split和Concat構建編碼階段，FFM、Channel Attention Sum、Criss-CrossAttention Sum，ReLU函數、Final Prediction構建解碼階段，編碼階段與解碼階段通過Channel Attention Sum連接，得到基于注意力機制的超輕量化語義分割網絡；

步驟2、模型訓練，將訓練集圖像I輸入到注意力機制的超輕量化語義分割網絡中，得到預測圖像，將其與真實標簽圖GT進行對比，計算出交叉熵函數作為損失函數，度量預測值與真實值的誤差；通過反向傳播算法對步驟1定義的網絡模型參數進行迭代優化訓練，訓練到整個模型收斂為止；

步驟3、模型測試，將測試集圖像輸入到訓練好的網絡模型中，得到測試結果；

步驟1中，編碼網絡包括n個階段，以AHSP模塊作為基本模塊，引入Criss-CrossAttention Sum、Channel Split、Concat fuse split，構建相互連接的第一路徑和第二路徑；對訓練集圖像I進行n次下采樣，每個階段輸出特征圖的尺寸為原始尺寸的1/2、1/4、...、1/2ⁿ；

第一路徑包括k個AHSP模塊，在第一路徑的第i-th階段的第k-th個模塊的轉換函數表示為輸出為其中，i∈{1,2,3,…,n}，k∈{1}；

第二路徑包括j個AHSP模塊，在第二路徑的第i-th階段的第j-th個模塊的轉換函數表示為輸出為其中，i∈{1,2,3,...,n}，j∈{1,2}，C_i是第i-th階段的特征通道數；

第一路徑和第二路徑在每個階段的第一個AHSP模塊輸出特征圖的計算公式如下：

其中，i∈{1,2,3,...,n}，和為步長為2的下采樣；F^1×1(·)為卷積核為1×1的卷積網絡轉換函數，Split(·)將接收到的特征圖沿通道維度分割為兩部分，并分別送入和中，得到第一路徑特征信息和第二路徑特征信息；

第二路徑在每個階段的第2個AHSP模塊輸出特征圖的計算公式如下：

其中，i∈{1,2,3,...,n}；

步驟1中，解碼網絡包括n個階段，以FFM模塊為基礎，引入Channel Attention Sum、Criss-Cross Attention Sum構成解碼網絡，并引入ReLU函數作為最終的輸出預測結果的激活函數；

FFM模塊的轉換函數為D_i(·)，輸出的特征圖表示為其中，i∈{1,2,3,…,n}；

S'_i＝F^1×1(X) (5)

其中，S_i'為下采樣的最終輸出X經過1×1的卷積函數操作后的輸出結果，F^1×1(·)為卷積核為1×1的卷積函數，為卷積核為3×3的可分離卷積函數，BatchNorm(·)為批處理歸一化函數；

經過編碼階段得到特征圖輸出為：

則D_i的計算公式過程如下：其中i＝1,2,…,n-1

其中，Upsample(·,t)表示使用雙線性插值方法以t的系數對特征圖進行采樣，CAM(·)表示使用通道注意力機制，S_i”為下一stage的特征圖D經過CAM、上采樣、FFM操作后的輸出；

利用D_i通過1×1卷積得到測試結果P_i，具體如下：

P_i＝Soft max(Upsample(F^1×1(D_i),2ⁱ)) (10)

其中，P_i∈R^H×W為預測的類標簽圖，Soft max(·)為激活函數，i∈{1,2,3,...,n}。