[發(fā)明專利]一種基于拓?fù)湫畔⒓?xì)化的道路提取方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201911121205.4
• 申請(qǐng)日: 2019-11-15
• 公開(kāi)（公告）號(hào): CN110929621B
• 公開(kāi)（公告）日: 2022-09-23
• 發(fā)明（設(shè)計(jì)）人: 侯艷杰;高家智;鄭向濤;崔俊峰;郝云勝;商臨峰;楊曉騫;夏霏;張香成;高燕
• 申請(qǐng)（專利權(quán)）人: 中國(guó)人民解放軍63729部隊(duì)
• 主分類號(hào): G06V20/10
• 分類號(hào): G06V20/10;G06V10/774;G06V10/764;G06V10/82;G06N3/04
• 代理公司: 天津英揚(yáng)昊睿專利代理事務(wù)所(普通合伙) 12227
• 代理人: 徐忠麗

1.一種基于拓?fù)湫畔⒓?xì)化的道路提取方法，其具體操作步驟為：

1)進(jìn)行模型訓(xùn)練：模型可分為encoder、center和decoder三部分，其中encoder將輸入的圖像編碼為高維特征；center包含并聯(lián)的擴(kuò)張模塊DM和信息模塊MM，對(duì)encoder的輸出進(jìn)行特征再處理后，采用像素級(jí)相加的方式，融合為同維度的新特征；decoder將高維度特征經(jīng)過(guò)上采樣和去卷積方式，恢復(fù)至輸入圖像的尺寸，然后采用sigmoid預(yù)測(cè)出道路的概率圖并以0.5為閾值判斷，最后生成二值化的道路分割圖，此外，模型訓(xùn)練使用的損失是二元交叉熵和dice efficient項(xiàng)的權(quán)重組合；

(2)進(jìn)行測(cè)試過(guò)程：將測(cè)試集數(shù)據(jù)輸入到訓(xùn)練好的模型當(dāng)中，預(yù)測(cè)出道路圖，并與真實(shí)標(biāo)記做對(duì)比，計(jì)算相關(guān)指標(biāo)；

(3)比較不同超參數(shù)或損失函數(shù)的參數(shù)的組合對(duì)模型的影響，擇取最優(yōu)參數(shù)，最后將本文方法與其他方法比較。

2.按照權(quán)利要求1所述的一種基于拓?fù)湫畔⒓?xì)化的道路提取方法，其特征在于所述Center部分，包括擴(kuò)張模塊DM和信息模塊MM，實(shí)現(xiàn)從輸入的高分辨率遙感圖像中提取出所有屬于道路的像素，最終二值化為道路圖，圖1中左右對(duì)稱的塊代表具有相同大小和通道的特征，每個(gè)特征塊下的表達(dá)式n2×c意味著feature map大小為n×n,和通道的數(shù)量是c。

3.按照權(quán)利要求1所述的一種基于拓?fù)湫畔⒓?xì)化的道路提取方法，其特征在于所述擴(kuò)張模塊DM的結(jié)構(gòu)中參數(shù)r代表擴(kuò)張率，f代表實(shí)際的感受野大小，通常，道路在整個(gè)圖像上都有分布，關(guān)注道路的結(jié)構(gòu)分布很有必要，而DM在不降低圖像分辨率的前提下，通過(guò)串聯(lián)和并行連接的擴(kuò)張卷積層增加感受野，DM組合不同擴(kuò)張率，即在有間隔的行列間卷積得到信息，有助于獲取多尺度信息，從而利于獲取道路的結(jié)構(gòu)分布。

4.按照權(quán)利要求1所述的一種基于拓?fù)湫畔⒓?xì)化的道路提取方法，其特征在于所述信息模塊MM用高維隱層特征作為輸入； 輸入特征的高度、寬度和通道數(shù)分別為32、32、512；參數(shù)k是卷積核的寬度，MM有四個(gè)方向的切片：向上、向下、向左和向右，圖中只顯示了向下和向上的方向，左右方向相似，在每個(gè)方向上，沿著特征的高度(向上和向下)或?qū)挾?左和右)對(duì)特征進(jìn)行切片，第一個(gè)切片經(jīng)過(guò)卷積和ReLU非線性，然后疊加至下一個(gè)切片，形成一個(gè)新的切片，新切片依次重復(fù)相同的處理，直到最后一個(gè)切片被更新，從而獲得一個(gè)大小為32×32×512的新特性，相同方向上的連片卷積的權(quán)值是共享的，且不同于原始的空間CNN，采用隨機(jī)初值化，MM對(duì)相鄰像素行列的信息加強(qiáng)，在彌補(bǔ)DM由于計(jì)算獨(dú)立的像素導(dǎo)致局部信息丟失的問(wèn)題的同時(shí)，有助于對(duì)道路連通性的保持。

5.一種基于拓?fù)湫畔⒓?xì)化的道路提取方法，其實(shí)現(xiàn)的步驟如下：

步驟1，Encoder部分，輸入高分辨率遙感圖像，encoder將其編碼為32×32×512的高維特征，Encoder使用ImageNet上預(yù)訓(xùn)練好的ResNet做為特征提取器，輸入尺寸調(diào)整為1024×1024；

(1a)數(shù)據(jù)預(yù)處理：RSRE采用數(shù)據(jù)增強(qiáng)，避免了在沒(méi)有交叉驗(yàn)證的情況下過(guò)度擬合的問(wèn)題，增強(qiáng)方式包括翻轉(zhuǎn)、垂直翻轉(zhuǎn)、對(duì)角翻轉(zhuǎn)、顏色抖動(dòng)、圖像平移和縮放，在預(yù)測(cè)階段，每幅圖像都有水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)和對(duì)角翻轉(zhuǎn)操作，采用python內(nèi)置函數(shù)完成：

(1b)提取輸入圖像的高維度特征：調(diào)取預(yù)訓(xùn)練的ResNet特征提取器前4層，并將原始輸入256×256調(diào)整至1024×1024；

步驟2，DM增大感受野：步驟(1b)中高維度特征作為輸入，輸出同維度的但保留了更多語(yǔ)義信息的特征，DM模塊主要由dilated convolution構(gòu)成，且有串聯(lián)和并聯(lián)兩種連接方式，選用的擴(kuò)張率分別為1(普通卷積)、2、4、8，對(duì)應(yīng)感受野由1增大至3、7、15、31，Dilatedconvolution與普通的卷積相比，除了卷積核的大小以外，還有一個(gè)擴(kuò)張率(dilationrate)參數(shù)，主要用來(lái)表示擴(kuò)張的大小，擴(kuò)張卷積與普通卷積的相同點(diǎn)在于，卷積核的大小是一樣的，在神經(jīng)網(wǎng)絡(luò)中即參數(shù)數(shù)量不變，區(qū)別在于擴(kuò)張卷積具有更大的感受野，感受野是卷積核在圖像上看到的大小，普通卷積過(guò)程表示如下：

則Dilated convolution表示為：

其中，(i,j)描述像素位置，(m,n)表示濾波器中的參數(shù)位置，r表示擴(kuò)張率，則感受野f的計(jì)算方式為：

f＝2(k-1)(r-1)+k (3)

其中，k為卷積核大小，RSRE的實(shí)驗(yàn)中取值為3；

步驟3，MM模塊增強(qiáng)鄰近像素間信息傳遞，MM和DM為并行操作，因此以步驟1中高維度特征作為輸入，輸出同維度的但保留了更多語(yǔ)義信息的特征，MM包括上下左右四個(gè)方向上的slice-to-slice convolution，通過(guò)方向上的像素值更新，增強(qiáng)方向上的像素信息傳遞，以向下傳播為例，將特征塊沿高度劃分為H片，則每一個(gè)新片的特征值計(jì)算為：

其中，F(xiàn)_i,j,k表示通道i，j行，k列上的特征值，old表示原來(lái)的特征值，new代表更新后的特征值，K為卷積核，參數(shù)隨機(jī)初始化，relu表示非線性激活函數(shù)，更新完H個(gè)片特征后，組合為新的特征塊，作為輸入，在其他方向上更新，以此讓像素間的信息在上下左右方向上傳遞，最后得到一個(gè)新的特征塊； MM處理過(guò)程中特征的維度不變，仍然為32×32×512；

步驟4，DM和MM特征融合，將步驟2和步驟3的輸出進(jìn)行同維度的像素級(jí)的累加，得到新的32×32×512的特征；

步驟5，Decoder恢復(fù)輸入圖像同等分辨率，以步驟4中輸出特征作為輸入，通過(guò)轉(zhuǎn)置卷積層進(jìn)行上采樣，輸出1024×1024的特征，同時(shí)，在對(duì)應(yīng)的維度512、256、128、64上，將Encoder部分對(duì)應(yīng)維度的特征與去卷積的輸出特征融合(像素級(jí)累加)，即能夠結(jié)合語(yǔ)義信息與細(xì)節(jié)信息；

步驟6，Sigmoid層輸出像素概率值：輸入是步驟5得到的特征，經(jīng)過(guò)sigmoid函數(shù)，輸出每個(gè)像素的概率值；

步驟7，閾值判斷：選取閾值為0.5，對(duì)sigmoid輸出概率大于0.5的像素，判定為道路像素，對(duì)sigmoid輸出概率小于0.5的像素，判定為非道路像素：

步驟8，二值化為道路圖像； 對(duì)步驟7中，道路像素賦值為255，非道路像素賦值為0，復(fù)制成三個(gè)通道，合成最終的道路二值化的分割圖：

步驟9，構(gòu)造損失函數(shù)優(yōu)化網(wǎng)絡(luò)； 用權(quán)重組合二元交叉熵?fù)p失和dice coefficientitem，比較輸出的道路圖與輸入的真實(shí)標(biāo)記，訓(xùn)練RSRE網(wǎng)絡(luò)：

雖然道路分布在整個(gè)高分辨率圖像中，但圖像中屬于道路的像素要比非道路的像素少很多，也就是存在類別數(shù)量上的不均衡，這有可能使訓(xùn)練結(jié)果向像素較多的非道路類傾斜，因此，本文使用了一個(gè)新的損失函數(shù)，它同時(shí)使用了dice coefficient項(xiàng)(5)和二元交叉熵(6)；

x_n代表第n個(gè)高分辨率遙感圖像，且n＝1，2，3，…，N，N最小batch大小； y_n代表圖像x_n的ground truth(GT)，GT是二進(jìn)制map圖； f_w(x_n)表示RSRE的預(yù)測(cè)到的道路圖,w是RSRE需要優(yōu)化的權(quán)重，參數(shù)m是一個(gè)可調(diào)節(jié)參數(shù)。

損失l_dice可以看做是GT和預(yù)測(cè)的f_w(x_n)的相似性度量，而交叉熵可以看做是GT和預(yù)測(cè)的f_w(x_n)的距離度量，它是語(yǔ)義分割中常用的訓(xùn)練損失； 但是，在樣本不均衡的情況下，多次迭代后二元交叉熵?fù)p失要對(duì)模型的約束作用減弱，導(dǎo)致模型傾向于預(yù)測(cè)數(shù)量多的類別；道路提取可以看做是像素級(jí)的識(shí)別，只有屬于道路的像素才可以被看做是正樣本；很明顯，正負(fù)樣本間存在著不均衡，為了解決這個(gè)問(wèn)題，RSRE用參數(shù)λ組合l_dice和l_bce，并調(diào)節(jié)λ和m來(lái)控制不同損失對(duì)訓(xùn)練結(jié)果的效果； 最終訓(xùn)練損失的形式如公式(7)：

loss_w＝l_dice+λl_bce. (7)

其中，參數(shù)w是RSRE需要更新的權(quán)重，λ是一個(gè)常數(shù)項(xiàng)，需要預(yù)先設(shè)定： 通過(guò)最小化損失函數(shù)，最終得到最優(yōu)w解，RSRE選擇Adam作為優(yōu)化器來(lái)最小化損失函數(shù)；

測(cè)試過(guò)程：

為評(píng)價(jià)RSRE在高分辨率遙感圖像道路提取中的有效性，引入了precision(P)、recall(R)和F₁-score:

其中TP、FP、TN、FN表示真陽(yáng)性、假陽(yáng)性、假陰性和假陰性像素的數(shù)量； P表示圖像中所有道路像素被正確預(yù)測(cè)的百分比，R表示所有正確預(yù)測(cè)的像素與檢測(cè)到的道路像素的比例，F(xiàn)₁分?jǐn)?shù)是一個(gè)評(píng)價(jià)指標(biāo)P,R之間的調(diào)和平均數(shù)。