[發(fā)明專利]一種基于全局-局部對(duì)抗學(xué)習(xí)框架的跨域道路提取方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110004130.2
• 申請(qǐng)日: 2021-01-04
• 公開（公告）號(hào): CN112766089B
• 公開（公告）日: 2022-05-13
• 發(fā)明（設(shè)計(jì)）人: 盧曉燕;鐘燕飛;鄭卓;王俊玨;張良培
• 申請(qǐng)（專利權(quán)）人: 武漢大學(xué)
• 主分類號(hào): G06V20/10
• 分類號(hào): G06V20/10;G06K9/62;G06N3/04;G06N3/08;G06V10/774;G06V10/764;G06V20/40
• 代理公司: 武漢科皓知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 42222
• 代理人: 王琪

1.一種基于全局-局部對(duì)抗學(xué)習(xí)框架的跨域道路提取方法，其特征在于，包括以下步驟：

步驟1，獲取有標(biāo)簽的源域數(shù)據(jù)，以及無(wú)標(biāo)簽的目標(biāo)域影像，一起組成訓(xùn)練集用于網(wǎng)絡(luò)訓(xùn)練，對(duì)訓(xùn)練集進(jìn)行歸一化與數(shù)據(jù)增強(qiáng)；

步驟2，構(gòu)建全局-局部對(duì)抗學(xué)習(xí)框架，包括全局-局部對(duì)抗學(xué)習(xí)網(wǎng)絡(luò)框架構(gòu)建和目標(biāo)函數(shù)設(shè)計(jì)；

所述全局-局部對(duì)抗學(xué)習(xí)網(wǎng)絡(luò)框架為生成器和判別器結(jié)構(gòu)，首先利用生成器生成特征，來(lái)混淆判別器，生成器后面緊接著兩個(gè)分支，一個(gè)分支進(jìn)行道路分割，獲取道路分割概率圖，另一個(gè)分支通過(guò)全局-局部對(duì)抗學(xué)習(xí)引導(dǎo)生成器生成域不變特征；目標(biāo)函數(shù)包含三個(gè)部分：分割損失，參數(shù)差異損失和自適應(yīng)加權(quán)的對(duì)抗損失；

所述步驟2中全局-局部對(duì)抗學(xué)習(xí)網(wǎng)絡(luò)框架的具體結(jié)構(gòu)如下；

該框架采用在ImageNet數(shù)據(jù)集上預(yù)訓(xùn)練的修正后的ResNet作為生成器，移除ResNet50的第四個(gè)殘差塊，并將第三個(gè)殘差塊內(nèi)的最后一層卷積的步長(zhǎng)由2變成1，同時(shí)將標(biāo)準(zhǔn)卷積替換成空洞率為2的空洞卷積，以保證特征分辨率不降低的同時(shí)增大網(wǎng)絡(luò)感受野，由此，得到修正后的ResNet生成器，對(duì)于輸入的源域影像x_s和目標(biāo)域影像x_t，經(jīng)過(guò)生成器之后，得到源域輸出e_s和目標(biāo)域輸出e_t；生成器之后是兩個(gè)分支，一個(gè)分支進(jìn)行道路分割，首先采用1×1卷積將源域特征e_s的維度降低，然后通過(guò)雙線性插值將特征圖進(jìn)行上采樣，再采用跳躍連接，通過(guò)和相應(yīng)的低層特征進(jìn)行逐像素的相加，來(lái)恢復(fù)更詳細(xì)的空間細(xì)節(jié)信息，之后分別采用3×3卷積和1×1卷積降低特征圖維度，最后通過(guò)雙線性插值，四倍上采樣恢復(fù)到原始輸入大小，并通過(guò)Sigmoid分類器獲取道路分割概率圖；另一個(gè)分支進(jìn)行全局-局部對(duì)抗學(xué)習(xí)，利用兩個(gè)互斥分類器，分別輸出一個(gè)二維特征圖m₁和m₂，緊接著1×1卷積得到一維的概率圖p₁和p₂，最終的概率值p是p₁和p₂之和；

對(duì)于判別器D，采用的是不同通道數(shù)的五層全卷積網(wǎng)絡(luò)，每一個(gè)卷積層后面連接一個(gè)leaky ReLU，最后采用雙線性插值使得輸出結(jié)果恢復(fù)到原始輸入大小；對(duì)于源域輸入e_s，通過(guò)兩個(gè)分類器得到概率圖p_s，然后輸入到判別器D中計(jì)算對(duì)抗損失；對(duì)于目標(biāo)域輸入e_t，通過(guò)兩個(gè)分類器得到概率圖p_t，輸入到判別器D中計(jì)算對(duì)抗損失；同時(shí)也得到二維輸出和緊接著softmax激活函數(shù)來(lái)獲得分割輸出和然后根據(jù)和之間的差異計(jì)算權(quán)重，根據(jù)此權(quán)重來(lái)自動(dòng)調(diào)節(jié)對(duì)抗損失，權(quán)重越小，說(shuō)明特征已經(jīng)很好的對(duì)齊了，這些像素的對(duì)齊力度應(yīng)該被降低，權(quán)重越大，說(shuō)明這些特征還沒(méi)有很好對(duì)齊，應(yīng)該增強(qiáng)對(duì)齊力度；

步驟3，基于構(gòu)建的全局-局部對(duì)抗學(xué)習(xí)框架，在訓(xùn)練集上進(jìn)行訓(xùn)練，優(yōu)化模型參數(shù)，直至收斂；

步驟4，基于收斂后的全局-局部對(duì)抗學(xué)習(xí)框架，對(duì)來(lái)自目標(biāo)域的測(cè)試集進(jìn)行預(yù)測(cè)，利用輸出的道路分割概率圖獲得道路提取結(jié)果。

2.如權(quán)利要求1所述的一種基于全局-局部對(duì)抗學(xué)習(xí)框架的跨域道路提取方法，其特征在于：所述步驟1的實(shí)現(xiàn)方式如下，

步驟1.1，在SpaceNet道路提取競(jìng)賽網(wǎng)站上進(jìn)行注冊(cè)，下載數(shù)據(jù)集，劃分出源域訓(xùn)練樣本；

步驟1.2，在目標(biāo)域測(cè)試集影像范圍的相鄰區(qū)域下載與之地理位置不重合，但時(shí)間和分辨率一致的目標(biāo)域影像，作為目標(biāo)域的無(wú)標(biāo)記影像；

步驟1.3，將有標(biāo)記的源域數(shù)據(jù)和無(wú)標(biāo)記的目標(biāo)域影像一起組成訓(xùn)練集，對(duì)訓(xùn)練集進(jìn)行歸一化操作，并利用水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)和隨機(jī)旋轉(zhuǎn)對(duì)訓(xùn)練集進(jìn)行數(shù)據(jù)增強(qiáng)。