[發(fā)明專利]一種基于多監(jiān)督網(wǎng)絡(luò)的道路場景圖像語義分割方法

在審

• 申請?zhí)枺?/td>: 202110823118.4
• 申請日: 2021-07-21
• 公開（公告）號: CN113362349A
• 公開（公告）日: 2021-09-07
• 發(fā)明（設(shè)計）人: 周武杰;董少華;強芳芳;許彩娥
• 申請（專利權(quán)）人: 浙江科技學院
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 林超

1.一種基于多監(jiān)督網(wǎng)絡(luò)的道路場景圖像語義分割方法，其特征在于，包括訓練階段和測試階段兩個過程；

所述的訓練階段過程的具體步驟為：

步驟1_1：選取多幅原始道路場景RGB圖像和對應的原始Thermal熱紅外圖像以及真實語義分割圖像，將每幅原始道路場景RGB圖像和原始Thermal熱紅外圖像分別通過裁剪、明亮度、翻轉(zhuǎn)方式進行數(shù)據(jù)增強之后獲得初始道路場景RGB圖像和初始Thermal熱紅外圖像，由多幅初始道路場景RGB圖像和初始Thermal熱紅外圖像以及對應的真實語義分割圖像構(gòu)成訓練集；

步驟1_2：構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)；

步驟1_3：將訓練集輸入到卷積神經(jīng)網(wǎng)絡(luò)中進行訓練，卷積神經(jīng)網(wǎng)絡(luò)輸出訓練集中的每幅原始道路場景RGB圖像對應的七個預測圖集合；

步驟1_4：將每幅原始道路場景RGB圖像對應的真實語義分割圖像處理成9幅獨熱編碼圖像并將9幅獨熱編碼圖像的集合記為J_true，分別計算9幅獨熱編碼圖像的集合J_true與對應的七個預測圖集合之間的損失函數(shù)值，將七個損失函數(shù)值之和作為最終損失值；

步驟1_5：重復執(zhí)行步驟1_3和步驟1_4共V次，直到卷積神經(jīng)網(wǎng)絡(luò)收斂達到飽和，獲得卷積神經(jīng)網(wǎng)絡(luò)分類訓練模型；將此時得到的網(wǎng)絡(luò)的權(quán)值矢量和偏置作為卷積神經(jīng)網(wǎng)絡(luò)分類訓練模型的最優(yōu)權(quán)值矢量和最優(yōu)偏置項；

所述的測試階段過程的具體步驟為：

步驟2：將多幅待語義分割的原始道路場景RGB圖像和原始Thermal熱紅外圖像輸入卷積神經(jīng)網(wǎng)絡(luò)分類訓練模型中，利用最優(yōu)權(quán)值矢量和最優(yōu)偏置項進行預測，獲得對應的語義分割預測圖。

2.根據(jù)權(quán)利要求1所述的一種基于多監(jiān)督網(wǎng)絡(luò)的道路場景圖像語義分割方法，其特征在于：所述卷積神經(jīng)網(wǎng)絡(luò)包括編碼模塊和解碼模塊兩部分，編碼模塊與解碼模塊相連；

編碼模塊包括10個編碼模塊，解碼模塊包括語義AHLS模塊、多任務監(jiān)督RM模塊、5個信息融合FM模塊、5個特征融合AMMF模塊和3個語義監(jiān)督MLF模塊；

第一編碼模塊依次經(jīng)第二編碼模塊、第三編碼模塊、第四編碼模塊和第五編碼模塊后與語義AHLS模塊相連，第六編碼模塊依次經(jīng)第七編碼模塊、第八編碼模塊、第九編碼模塊和第十編碼模塊后與語義AHLS模塊相連，第一編碼模塊的輸入為初始道路場景RGB圖像，第六編碼模塊的輸入為初始Thermal熱紅外圖像；

第五編碼模塊、語義AHLS模塊和第十編碼模塊與第一特征融合AMMF模塊相連，第一特征融合AMMF模塊的輸出與語義AHLS模塊的輸出分別輸入到第一信息融合FM模塊的第一輸入和第二輸入中，第一信息融合FM模塊的輸出和語義AHLS模塊的輸出同時輸入到第一語義監(jiān)督MLF模塊，第一語義監(jiān)督MLF模塊的輸出作為卷積神經(jīng)網(wǎng)絡(luò)的第二輸出；

第四編碼模塊的輸出、第一信息融合FM模塊的輸出和第九編碼模塊的輸出輸入到第二特征融合AMMF模塊，第二特征融合AMMF模塊的輸出與語義AHLS模塊的輸出分別輸入到第二信息融合FM模塊的第一輸入和第二輸入中，第二信息融合FM模塊的輸出、第三編碼模塊的輸出和第八編碼模塊的輸出同時輸入到第三特征融合AMMF模塊，第三特征融合AMMF模塊的輸出與語義AHLS模塊的輸出分別輸入到第三信息融合FM模塊的第一輸入和第二輸入中，第二信息融合FM模塊的輸出和第三信息融合FM模塊的輸出同時輸入到第二語義監(jiān)督MLF模塊，第二語義監(jiān)督MLF模塊的輸出作為卷積神經(jīng)網(wǎng)絡(luò)的第三輸出；

第二編碼模塊的輸出、第三信息融合FM模塊的輸出和第七編碼模塊的輸出輸入到第四特征融合AMMF模塊，第四特征融合AMMF模塊的輸出與語義AHLS模塊的輸出分別輸入到第四信息融合FM模塊的第一輸入和第二輸入中，第四信息融合FM模塊的輸出、第一編碼模塊的輸出和第六編碼模塊的輸出輸入到第五特征融合AMMF模塊，第五特征融合AMMF模塊的輸出與語義AHLS模塊的輸出分別輸入到第五信息融合FM模塊的第一輸入和第二輸入中，第四信息融合FM模塊的輸出和第五信息融合FM模塊的輸出同時輸入到第三語義監(jiān)督MLF模塊，第三語義監(jiān)督MLF模塊的輸出作為卷積神經(jīng)網(wǎng)絡(luò)的第四輸出；第五信息融合FM模塊的輸出作為卷積神經(jīng)網(wǎng)絡(luò)的第一輸出，第五信息融合FM模塊的輸出輸入到多任務監(jiān)督RM模塊，多任務監(jiān)督RM模塊的第一輸出、第二輸出和第三輸出分別作為卷積神經(jīng)網(wǎng)絡(luò)的第五輸出、第六輸出和第七輸出。