[發明專利]一種基于多尺度視覺特征提取的輕量級語義分割方法

有效

• 申請號: 202011424180.8
• 申請日: 2020-12-08
• 公開（公告）號: CN112634276B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 宋霄罡;付旺;梁莉;張元培
• 申請（專利權）人: 西安理工大學
• 主分類號: G06T7/10
• 分類號: G06T7/10;G06V10/40;G06V10/80;G06V10/764;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 西安弘理專利事務所 61214
• 代理人: 徐瑤

1.一種基于多尺度視覺特征提取的輕量級語義分割方法，其特征在于，具體按以下步驟實施：

步驟1，構建基于多尺度特征提取的輕量級卷積神經網絡LitNet，具體按以下步驟實施：

所述多尺度特征提取的輕量級卷積神經網絡結構包括特征提取模塊、多尺度融合模塊和上采樣模塊三部分，具體按以下步驟實施：

步驟1.1，圖像輸入網絡后，首先通過特征提取模塊進行下采樣提取特征，特征提取模塊具體按以下步驟實施：

步驟1.1.1，輸入圖像，設置width?multipler?α為1；

步驟1.1.2，對輸入圖像進行一次普通卷積操作，壓縮1次h*w，將通道數調整為32*α通道，并進行BatchNormalization與relu激活；

步驟1.1.3，將步驟1.1.2中所得特征圖傳入反殘差卷積塊進行1次反殘差卷積，得到通道數為16的特征圖；

步驟1.1.4，對步驟1.1.3所得特征圖進行16次反殘差卷積操作，輸出320通道的特征圖；

反殘差卷積構造步驟為：

首先通過1*1卷積進行通道擴張，并進行BatchNormalization與relu激活；然后通過3*3可分離卷積，并引入空洞卷積進行處理；進而通過?1*1卷積調整通道，并進行BatchNormalization與relu激活；最后引入殘差網絡結構，將輸入與最終卷積輸出進行融合；

步驟1.2，再經過多尺度融合模塊融合上下文信息，提取圖像多尺度特征；所述多尺度融合模塊具體按以下步驟實施：

步驟1.2.1，將特征提取模塊所得特征圖傳入多尺度融合模塊，構造平均全局池化層、膨脹率分別為1，6，12，18的空洞卷積模塊；

步驟1.2.2，獲取整體特征然后進行1x1卷積調整通道數，并恢復分辨率；

步驟1.2.3，通過1*1卷積獲取整體特征，改變通道數；

步驟1.2.4，分別使用膨脹率為6，12，18的空洞卷積提取到不同尺度下的特征；

步驟1.2.5，將步驟1.2.2~1.2.4中獲取的特征進行合并，此時特征圖的通道數為1280；

步驟1.2.6，通過構造1x1卷積調整通道數，得到融合后的256維特征圖；

步驟1.3，最后通過上采樣模塊恢復圖像尺寸，提高圖像分辨率，輸出分割結果；

步驟2，將經步驟1建立的神經網絡進行訓練；

步驟3，將經步驟2訓練好的網絡進行測試。

2.根據權利要求1所述的一種基于多尺度視覺特征提取的輕量級語義分割方法，其特征在于，所述上采樣模塊具體按以下步驟實施：

步驟1.3.1，多尺度融合模塊中得到256維特征圖，構造上采樣模塊；

步驟1.3.2，對特征圖進行三次雙線性插值，得到上采樣后的特征圖；

步驟1.3.3，利用1*1卷積將通道數調整為分割類別數；

步驟1.3.4，構造reshape用于將特征圖恢復為原始輸入圖片大小。

3.根據權利要求1所述的一種基于多尺度視覺特征提取的輕量級語義分割方法，其特征在于，所述步驟2中網絡訓練為使用CamVid數據集對網絡進行訓練，具體按以下步驟實施：

步驟2.1，獲取預訓練權重；

步驟2.2，將數據集數據打亂，將90%的圖像用于訓練，10%的圖像用于估計；

步驟2.3，采用交叉熵損失函數，每個epoch之后輸出訓練損失與訓練準確率以及驗證損失與驗證準確率；

步驟2.4，初始學習率定為1e-3，訓練采用學習率自動下降的方式；

步驟2.5，val_loss2次不下降就將學習率降為之前的1/2繼續訓練；

步驟2.6，val_loss6次不下降時即認為訓練完成，停止訓練并保存模型。

4.根據權利要求3所述的一種基于多尺度視覺特征提取的輕量級語義分割方法，其特征在于，所述步驟2.2的具體操作過程包括：

首先將訓練集按照預先設定的batch輸入進網絡，然后隨機random數據集為每張圖片在[0.7,1.3]范圍內任意選擇一種尺寸比例進行縮放，再然后按照0.5的概率大小對全部圖片做左右變換的翻轉處理，再將圖片調整色彩，最后將訓練圖片的大小統一裁剪為設定大小。

5.根據權利要求1所述的一種基于多尺度視覺特征提取的輕量級語義分割方法，其特征在于，所述步驟3中網絡測試的具體過程為將測試圖像輸入網絡，得到語義分割結果，并計算mIoU與FPS，對網絡性能進行評估：

步驟3.1，獲取數據集中分割類別的RGB顏色；

步驟3.2，設定分類數及輸入圖像大?。?/p>

步驟3.3，加載模型并讀取數據集；

步驟3.4，將數據集圖像每一幀傳入分割模型，對像素點進行分類；

步驟3.5，通過像素點分類標簽，對分割圖像上色，并調整為原圖像大小。