[發明專利]一種基于空間信息融合的語義分割方法

有效

• 申請號: 202010310940.6
• 申請日: 2020-04-20
• 公開（公告）號: CN111563508B
• 公開（公告）日: 2023-05-23
• 發明（設計）人: 李東;蔡皓洋
• 申請（專利權）人: 華南理工大學
• 主分類號: G06V20/70
• 分類號: G06V20/70;G06V10/26;G06V10/80;G06V10/82;G06V10/778;G06N3/0464;G06N3/048;G06N3/09
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 何淑珍;江裕強

1.一種基于空間特征融合的語義分割方法，其特征在于，包括以下步驟：

步驟1，構建特征提取網絡：以圖像分類網絡Resnet作為特征提取網絡的基礎，將Resnet模型在圖像分割數據集做預訓練，預訓練完成后移除Resnet模型的全局池化層、全連接層以及最后兩個池化層；

步驟2，在預訓練后的特征提取網絡添加多尺度特征融合模塊；

步驟3，在多尺度特征融合模塊后添加跨層空間特征融合模塊CSFF，最后再連接上語義分割分類層；添加的跨層空間特征融合模塊CSFF利用特征圖之間像素的語義相似度對兩個特征圖進行融合，具體包括：

首先，表示經特征提取網絡提取的圖像特征，在這里表示特征的形狀為C×H×W；經過多尺度特征融合模塊變換的特征圖表示為其中C和C′分別代表F和F′的通道數，H和W分別代表特征圖的高和寬；F和F′分別通過卷積核數量為C/8的1×1卷積層進行變換以及重塑操作得到張量和其中N＝H×W；將A′的轉置與A進行矩陣相乘并應用softmax層得到一個空間特征權重圖公式如下:

A′_i代表特征圖A′第i位置上的向量，A_j代表特征圖A第j位置上的向量，A′_i·A_j則表示對A′_i向量和A_j向量進行點乘操作，用來計算向量之間的相似性；s_ij代表特征圖A第j位置向量和特征圖a′第i位置向量的之間的相似性；

此外，F經過額外的1×1卷積層得到特征圖然后將B重塑至對B和S的轉置執行矩陣乘法并將結果還原至形狀得到融合后的特征圖；將融合后的特征圖乘以縮放因子α并將其與特征圖F′進行逐元素求和運算，得到最終的輸出特征圖D，具體過程如下：

式中，α為可學習參數，初始設置為0且會隨著訓練過程逐漸增大，s_ij代表特征圖A第j位置和特征圖A′第i位置的之間的相似性，B_i代表特征圖B上第i位置的向量，F′_j代表特征圖F′上第j位置的向量；

步驟4，將上述步驟構建的語義分割模型在語義相應的標注數據上進行有監督訓練，訓練結束后，利用標注數據的驗證集對語義分割模型性能進行驗證，得到最終的語義分割模型；

步驟5，采集待分割圖像，將待分割圖像送入分割模型進行處理，得到最終的分割結果。

2.根據權利要求1所述的一種基于空間特征融合的語義分割方法，其特征在于：對步驟1中所述的圖像分類網絡Resnet采用ImageNet數據集對其進行預訓練；在進行預訓練時，圖像的特征圖經過全局池化層轉換為一維向量并且利用全連接層進行分類。

3.根據權利要求1所述的一種基于空間特征融合的語義分割方法，其特征在于：步驟2中所述多尺度特征融合模塊為ASPP或PPM，ASPP利用不同尺度的分離卷積來提取特征圖中不同尺度的語義信息；PPM利用不同的池化層下采樣之后上采樣，產生不同粒度的特征圖。

4.根據權利要求1所述的一種基于空間特征融合的語義分割方法，其特征在于：所述語義分割分類層包括：

第一層卷積層為卷積核尺寸為3×3的卷積核，負責對輸出特征圖D中的信息進行提取，該卷積層后接BatchNorm批歸一化層和ReLU非線性激活層；最后通過卷積核尺寸為1×1的分類層輸出像素級的分類結果。

5.根據權利要求1所述的一種基于空間特征融合的語義分割方法，其特征在于：步驟4中利用標注數據對所構建語義分割模型有監督訓練，需要先對標注圖像進行數據預處理工作；訓練過程中學習率衰減策略采用poly策略，衰減系數為其中iter為當前迭代數，total_iter為總迭代數；訓練過程的優化器為帶動量的批量SGD優化器，動量設置為0.9，權重衰減系數為0.001。

6.根據權利要求5所述的一種基于空間特征融合語義分割方法，其特征在于：所述數據預處理，具體為對圖像進行隨機水平翻轉、對圖像進行0.75倍至2倍尺度的隨機縮放并且裁剪至768×768像素，最后進行圖像歸一化操作。

7.根據權利要求1所述的一種基于空間特征融合的語義分割方法，其特征在于：步驟5中將待分割圖像送入語義分割模型進行處理時，對圖像進行歸一化處理。