[發明專利]基于輕量級卷積神經網絡模型的實時圖像語義分割方法

有效

• 申請號: 202010018041.9
• 申請日: 2020-01-08
• 公開（公告）號: CN111275711B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 王云江;賀斌;石莎;肖卓彥;熊星宇
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06T7/10
• 分類號: G06T7/10;G06N3/0455;G06N3/0464;G06N3/08
• 代理公司: 陜西電子工業專利中心 61205
• 代理人: 王品華

1.一種基于輕量級卷積神經網絡的實時圖像語義分割的方法，其特征在于，包括以下步驟：

(1)從開源數據集網站中下載Cityscapes訓練集、驗證集、測試集；

(2)從GitHub開源網站下載預訓練后的ESPNetV2通用網絡模型；

(3)設計以左右結構搭建的共享連接自適應單元：

(3a)設置由一個卷積層構成的單元右半結構；

(3b)構建特征圖加法模塊，即以兩個分辨率大小相同的特征圖作為輸入，分別將兩個輸入中具有相同通道索引的特征圖提取出來進行逐點相加操作后，再將相加后的新特征圖按照原始通道索引并行連接；

(3c)構建特征圖減法模塊，即以兩個分辨率大小相同的特征圖作為輸入，分別將兩個輸入中具有相同通道索引的特征圖提取出來進行逐點相減操作后，再將相減后的新特征圖按照原始通道索引并行連接；

(3d)構建共享連接模塊，即以四個分辨率大小相同的特征圖作為輸入，分別將兩個輸入中具有相同通道索引的特征圖提取出來并行連接，再將并行連接后的新特征圖按照原始通道索引并行連接；

(3e)構建單元右半結構，即將特征圖加法模塊和特征圖減法模塊先并行連接，再依次連接共享連接模塊、分組卷積層和上采樣層；

(3f)將單元左半結構和右半結構進行連接，構成共享連接自適應單元；

(4)搭建輕量級卷積神經網絡模型:

(4a)使用預訓練后的ESPNetV2通用網絡模型作為編碼器模塊；

(4b)依次連接2個共享連接自適應單元作為編碼器模塊；

(4c)將編碼器和解碼器按照U型結構進行連接，形成輕量級卷積神經網絡模型；

(5)利用Cityscapes訓練集以及驗證集，采用隨機梯度下降優化算法和基于輪數的多項式學習策略對輕量級神經網絡進行訓練，獲得訓練好的實時圖像語義分割模型；

(6)將Cityscapes測試集輸入到訓練好的實時圖像語義分割模型中，得到圖像語義分割結果。

2.根據權利要求1所述的方法，其特征在于，(3a)中的卷積層，其該卷積層的卷積核大小為3*3，步長為1，輸出通道數為網絡待分割物體類別數。

3.根據權利要求1所述的方法，其特征在于，(3e)中的分組卷積層，其卷積核大小為3*3、步長為1、分組數量為網絡待分割物體類別數，輸出通道數為網絡待分割物體類別數。

4.根據權利要求1所述的方法，其特征在于，(3e)中的上采樣層，其上采樣尺寸倍數設置為2，采樣算法選用雙線性插值法。

5.根據權利要求1所述的方法，其特征在于，(4c)中將編碼器和解碼器按照U型結構進行連接，是先將編碼器的第三個模塊及第四個模塊分別與解碼器的第二個共享連接自適應單元進行連接，再將編碼器的第二個模塊與解碼器的第一個共享連接自適應單元進行連接，形成U型連接結構。

6.根據權利要求1所述的方法，其特征在于，(5)中利用Cityscapes訓練集以及驗證集，采用隨機梯度下降優化算法和基于輪數的多項式學習策略對輕量級神經網絡進行訓練，實現如下：

(5a)初始化參數：將最優驗證集交叉熵損失函數值設為正無窮，學習率設為0.009，將一次訓練樣本數量設為16，權重衰減值設為0.00005，動量系數設為0.9；

(5b)對Cityscapes訓練集進行歸一化預處理，再隨機裁剪為1024*512分辨率大小，再進行隨機翻轉的圖像增強處理；

(5c)將預處理和增強處理后的Cityscapes訓練集輸入到輕量級卷積神經網絡模型中，得出預測結果，使用預測結果與訓練集圖像標簽計算得到訓練集的交叉熵損失函數值；

(5d)使用隨機梯度下降優化算法，優化訓練集的交叉熵損失函數值，即使用鏈式求導法則求解網絡每層權值參數梯度，使用求解的網絡每層權值參數梯度，更新網絡每層權值參數，以減小訓練集的交叉熵損失函數值大小；

(5e)使用基于輪數的多項式學習策略，調整每輪迭代時學習率參數的大??；

(5f)將Cityscapes驗證集輸入到當前輕量級卷積神經網絡模型中，得出預測結果，使用預測結果和驗證集圖像標簽計算當前驗證集的交叉熵損失函數值，并將當前驗證集的交叉熵損失函數值與設置的最優驗證集交叉熵損失函數值進行比較：

若當前驗證集的交叉熵損失函數值小于設置的最優驗證集交叉熵損失函數值，則將最優驗證集交叉熵損失函數值更新為當前驗證集的交叉熵損失函數值，并保存當前網絡模型；

否則，繼續進行下一輪訓練過程；

(5g)重復步驟(5b)-(5e)共300輪，結束迭代，得到訓練好的實時圖像語義分割模型。