[發(fā)明專利]一種小目標(biāo)敏感的雙通道卷積神經(jīng)網(wǎng)絡(luò)語義分割方法

有效

• 申請?zhí)枺?/td>: 201810706675.6
• 申請日: 2018-07-02
• 公開（公告）號: CN109145939B
• 公開（公告）日: 2021-11-02
• 發(fā)明（設(shè)計(jì)）人: 楊明;胡太
• 申請（專利權(quán)）人: 南京師范大學(xué)
• 主分類號: G06T7/10
• 分類號: G06T7/10;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京經(jīng)緯專利商標(biāo)代理有限公司 32200
• 代理人: 施昊

1.一種小目標(biāo)敏感的雙通道卷積神經(jīng)網(wǎng)絡(luò)語義分割方法，其特征在于，包括以下步驟：

(1)使用Caffe深度學(xué)習(xí)框架搭建兩個(gè)通道的卷積神經(jīng)網(wǎng)絡(luò)：非加權(quán)學(xué)習(xí)網(wǎng)絡(luò)和加權(quán)學(xué)習(xí)網(wǎng)絡(luò)；所述非加權(quán)學(xué)習(xí)網(wǎng)絡(luò)用于對圖像中目標(biāo)的主體部位進(jìn)行分割，加權(quán)學(xué)習(xí)網(wǎng)絡(luò)用于對圖像中小目標(biāo)進(jìn)行分割；加權(quán)學(xué)習(xí)網(wǎng)絡(luò)的損失函數(shù)采用小目標(biāo)敏感的交叉熵?fù)p失函數(shù)，小目標(biāo)敏感的交叉熵?fù)p失函數(shù)將圖像中的小目標(biāo)區(qū)域的分類損失和其他區(qū)域的分類損失分開考慮，使用特定權(quán)值因子對小目標(biāo)區(qū)域的分類損失進(jìn)行增強(qiáng)，并與其他目標(biāo)區(qū)域的分類損失累加得到總損失值；

所述小目標(biāo)敏感的交叉熵?fù)p失函數(shù)如下：

上式中，L(θ)為小目標(biāo)敏感的交叉熵?fù)p失函數(shù)，k∈[0,|C|-1]，j∈[0,|C|]，|C|表示總類別數(shù)，表示當(dāng)前模型對數(shù)據(jù)集中第i個(gè)圖像關(guān)于真實(shí)類別k的標(biāo)記評分，w為小目標(biāo)區(qū)域內(nèi)像素分類損失的權(quán)重，P′和P″分別為小目標(biāo)區(qū)域像素集合和非小目標(biāo)區(qū)域像素集合；

(2)對于所述兩個(gè)通道的卷積神經(jīng)網(wǎng)絡(luò)，分別使用雙階段訓(xùn)練方式對網(wǎng)絡(luò)進(jìn)行訓(xùn)練得到對應(yīng)的語義分割模型；

(3)以驗(yàn)證集圖像作為輸入，通過步驟(2)得到的兩個(gè)語義分割模型得到兩個(gè)通道的輸出評分圖，利用不同的模型融合算法對兩個(gè)通道的輸出評分圖進(jìn)行融合，并根據(jù)特定的評價(jià)指標(biāo)選擇最優(yōu)的模型融合算法；

(4)在測試階段，根據(jù)步驟(2)得到的語義分割模型和步驟(3)選擇的最優(yōu)模型融合算法來分割測試圖像。

2.根據(jù)權(quán)利要求1所述小目標(biāo)敏感的雙通道卷積神經(jīng)網(wǎng)絡(luò)語義分割方法，其特征在于，在步驟(1)中，所述非加權(quán)學(xué)習(xí)網(wǎng)絡(luò)與加權(quán)學(xué)習(xí)網(wǎng)絡(luò)的網(wǎng)絡(luò)主體結(jié)構(gòu)相同，利用Attention模型結(jié)合多尺度分割網(wǎng)絡(luò)作為網(wǎng)絡(luò)主體結(jié)構(gòu)；非加權(quán)學(xué)習(xí)網(wǎng)絡(luò)的損失函數(shù)采用普通的交叉熵?fù)p失函數(shù)。

3.根據(jù)權(quán)利要求1所述小目標(biāo)敏感的雙通道卷積神經(jīng)網(wǎng)絡(luò)語義分割方法，其特征在于，在步驟(2)中，所述雙階段訓(xùn)練方式如下：

第一步：首先從完整訓(xùn)練集中隨機(jī)抽取一部分?jǐn)?shù)據(jù)，再使用抽取的數(shù)據(jù)訓(xùn)練網(wǎng)絡(luò)模型，該模型的初始參數(shù)值通過預(yù)訓(xùn)練網(wǎng)絡(luò)模型微調(diào)得到；

第二步：然后在完整訓(xùn)練集上以第一步得到的網(wǎng)絡(luò)模型作為初始化參數(shù)再次訓(xùn)練網(wǎng)絡(luò)模型。

4.根據(jù)權(quán)利要求1所述小目標(biāo)敏感的雙通道卷積神經(jīng)網(wǎng)絡(luò)語義分割方法，其特征在于，步驟(2)的具體步驟如下：

(21)將數(shù)據(jù)劃分為訓(xùn)練集、驗(yàn)證集和測試集，對訓(xùn)練集中每個(gè)樣本的真實(shí)標(biāo)記圖進(jìn)行維度轉(zhuǎn)換，將三維的真實(shí)標(biāo)記圖轉(zhuǎn)換為二維的標(biāo)記圖，使其適用于Caffe深度學(xué)習(xí)框架的輸入層；

(22)對于非加權(quán)學(xué)習(xí)網(wǎng)絡(luò)，創(chuàng)建數(shù)據(jù)集圖像索引文件作為Caffe深度學(xué)習(xí)框架輸入層的參數(shù)，該索引文件每一行包含輸入圖片和對應(yīng)分割標(biāo)記圖的文件路徑；對于加權(quán)學(xué)習(xí)網(wǎng)絡(luò)，同樣創(chuàng)建數(shù)據(jù)集圖像索引文件作為Caffe深度學(xué)習(xí)框架中輸入層的參數(shù)，而該索引文件每一行除了包含輸入圖片和對應(yīng)分割標(biāo)記圖的文件路徑外，還包含了小目標(biāo)區(qū)域的標(biāo)記圖，即標(biāo)記每個(gè)像素點(diǎn)是否在小目標(biāo)所包含的區(qū)域；

(23)對于兩個(gè)網(wǎng)絡(luò)中任意一個(gè)網(wǎng)絡(luò)，首先使用已經(jīng)訓(xùn)練好的VGGNet模型參數(shù)作為網(wǎng)絡(luò)的初始化參數(shù)，網(wǎng)絡(luò)最后兩個(gè)全連接層的參數(shù)使用高斯隨機(jī)的方式進(jìn)行初始化，從完整訓(xùn)練數(shù)據(jù)集中抽取一部分?jǐn)?shù)據(jù)訓(xùn)練網(wǎng)絡(luò)模型，利用Caffe深度學(xué)習(xí)框架對網(wǎng)絡(luò)進(jìn)行訓(xùn)練，當(dāng)?shù)螖?shù)達(dá)到6000時(shí)停止訓(xùn)練得到網(wǎng)絡(luò)粗模型的參數(shù)，然后利用粗模型作為初始化參數(shù)在所有訓(xùn)練集上對網(wǎng)絡(luò)模型再次訓(xùn)練。

5.根據(jù)權(quán)利要求1所述小目標(biāo)敏感的雙通道卷積神經(jīng)網(wǎng)絡(luò)語義分割方法，其特征在于，在步驟(3)中，不同的模型融合算法分別為線性加權(quán)、最大池化和平均池化，特定的評價(jià)指標(biāo)為平均IoU。

6.根據(jù)權(quán)利要求1所述小目標(biāo)敏感的雙通道卷積神經(jīng)網(wǎng)絡(luò)語義分割方法，其特征在于，步驟(4)的具體步驟如下：

(41)配置Caffe測試網(wǎng)絡(luò)結(jié)構(gòu)文件：測試網(wǎng)絡(luò)的輸入數(shù)據(jù)來自內(nèi)存，使用Caffe深度學(xué)習(xí)框架的內(nèi)存輸入層；測試網(wǎng)絡(luò)最后一層得到輸出置信圖，置信圖共有C+1個(gè)通道，C為總類比數(shù)，每個(gè)通道的大小與原始圖像大小一致，置信圖上每個(gè)像素點(diǎn)的值表示原始圖像對應(yīng)位置對應(yīng)類別的置信評分；

(42)對于一幅待分割的圖像，首先進(jìn)行去均值化和維度轉(zhuǎn)換操作，然后將轉(zhuǎn)換后的圖像作為雙通道網(wǎng)絡(luò)的輸入進(jìn)行預(yù)測，獲得兩個(gè)C+1個(gè)通道的輸出評分圖，并通過最優(yōu)模型融合算法對兩個(gè)輸出評分圖進(jìn)行融合得到新的評分圖，根據(jù)新的評分圖得到最終的分割圖。