[發明專利]一種基于輕量級交叉注意網絡的實時語義分割的方法

在審

• 申請號: 202210516623.9
• 申請日: 2022-05-12
• 公開（公告）號: CN114972752A
• 公開（公告）日: 2022-08-30
• 發明（設計）人: 王娟;袁旭亮;葉永鋼;張則濤;劉子杉;郭力權;陳關海
• 申請（專利權）人: 湖北工業大學
• 主分類號: G06V10/26
• 分類號: G06V10/26;G06F17/16;G06V10/774;G06V10/82
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 羅飛

1.一種基于輕量級交叉注意網絡的實時語義分割的方法，其特征在于，包括以下步驟：

步驟1，準備圖像數據集用于訓練和測試；

步驟2，構建基于交叉注意機制的輕量級實時語義分割網絡，包括編碼器和解碼器，編碼器僅去除ResNet18尾部的全連接層以后的部分，其余部分保持不變，解碼器包括兩個CSCA模塊、一個CAB模塊和一個分類器，CSCA模塊對輸入的深層特征應用水平全局平均池化生成條狀垂直空間向量，對淺層特征應用垂直全局平均池化生成條狀水平空間向量，通過條狀水平空間向量和條狀垂直空間向量的親和運算生成通道權重向量，進而利用通道權重向量選擇淺層特征的空間信息；CAB模塊是將三個特征圖1×1卷積層應用于特征圖，分別生成查詢特征圖、關鍵特征圖和值特征圖，查詢特征圖和關鍵特征圖執行交叉親和操作得到交叉親和矩陣，交叉親和矩陣和值特征圖執行交叉親和操作得到融合特征；分類器采用一層1×1卷積和8倍的雙線性上采樣構成；

步驟3，使用訓練集圖像對輕量級實時語義分割網絡模型進行訓練；

步驟4，使用步驟3訓練好的網絡模型對測試集圖像進行分割，得到圖像語義分割結果。

2.如權利要求1所述的一種基于輕量級交叉注意網絡的實時語義分割的方法，其特征在于：步驟1中對訓練集中的圖像進行縮放、上下、左右翻轉、隨機裁剪、隨機旋轉來擴充數據集。

3.如權利要求1所述的一種基于輕量級交叉注意網絡的實時語義分割的方法，其特征在于：步驟2中基于交叉注意機制的輕量級實時語義分割網絡解碼部分包括兩個CSCA模塊，第一個CSCA模塊以淺層特征塊Block3和深層特征塊Block4的輸出作為多尺度輸入特征，第二個CSCA模塊以淺層特征塊Block2和第一個CSCA模塊的輸出作為多尺度輸入特征；將編碼器Block2、Block3、Block4、兩個CSCA模塊和CAB模塊的輸出作為網絡的輔助損耗分支，將每個輔助損失分支的標簽縮放到相應的特征分辨率，輔助損耗分支包含兩個卷積層，每個輔助損失分支中的第一層3×3卷積壓縮通道到32，第二層1×1卷積壓縮為類別數；使用輔助監督的形式優化網絡，網絡損耗的計算方式如下：

式中，L表示網絡總損耗，L_main表示主分支損耗，L_aux表示輔助損耗分支的損耗，所有損耗函數均為交叉熵損耗函數，λ為各輔助損耗分支的權重。

4.如權利要求1所述的一種基于輕量級交叉注意網絡的實時語義分割的方法，其特征在于：步驟2中CSCA模塊的輸入包括深層特征和淺層特征，對深層特征應用水平全局平均池化HGAP生成條狀垂直空間向量Z∈R^H×C，對淺層特征應用垂直全局平均池化VGAP生成條狀水平空間向量H∈R^W×C，CSCA模塊通過條狀水平空間向量H∈R^W×C和條狀垂直空間向量Z∈R^H×C的親和運算生成通道權重向量ω∈R^C×C，并利用通道權重向量ω∈R^C×C選擇淺層特征的空間信息，權重向量ω的計算公式如下：

式中，ω∈R^C×C表示通道權重向量，H和W分別表示特征映射的高和寬，Z_CT_,S∈R^C×H表示第C個通道的垂直轉置空間向量的點S，H_S,C∈R^W×C表示第C個通道的水平空間向量的點S,H_n,C∈R^W×C表示第C個通道的水平空間向量的點n；

最終的淺層特征空間信息提取和多尺度特征混合可表示為下式：

式中，N為特征映射的高H和寬W的乘積；C表示通道數；ω_i表示第i個通道權重向量；是淺層特征L∈R^HW×C的通道修正；Ω(·)表示1×1卷積層，第一個1×1卷積Ω(·)用于微調混合特征以生成精細的特征映射，第二個1×1卷積Ω(·)則用于生成精細混淆特征F；是修正后的淺層特征與深層特征M∈R^H×W×C逐像素相加混合；式(2)和式(3)中的分式均為softmax的實現形式，softmax函數可避免點積造成特征值過大的問題。