[發(fā)明專利]基于U形CNN模型實(shí)現(xiàn)遙感圖像的建筑實(shí)例掩模提取方法

有效

• 申請?zhí)枺?/td>: 201910211894.1
• 申請日: 2019-03-20
• 公開（公告）號: CN110110729B
• 公開（公告）日: 2022-08-30
• 發(fā)明（設(shè)計(jì)）人: 劉袁緣;方芳;郭明強(qiáng);覃杰;陳鼎元;楊淞晰
• 申請（專利權(quán)）人: 中國地質(zhì)大學(xué)（武漢）
• 主分類號: G06V10/40
• 分類號: G06V10/40;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 武漢知產(chǎn)時代知識產(chǎn)權(quán)代理有限公司 42238
• 代理人: 方琳

1.一種基于U形CNN模型實(shí)現(xiàn)遙感圖像的建筑實(shí)例掩模提取方法，其特征在于，包括以下三個步驟：

S1、多尺度融合U形網(wǎng)絡(luò)對輸入遙感圖像數(shù)據(jù)進(jìn)行預(yù)處理；

S2、將步驟S1預(yù)處理得到的數(shù)據(jù)輸入到多尺度融合U形網(wǎng)絡(luò)的三個預(yù)訓(xùn)練ResNet模型中，得到三張尺度不同的特征信息圖；

S3、對步驟S2得到的三張尺度不同的特征信息圖進(jìn)行兩次級聯(lián)融合操作，將三張尺度不同的特征信息圖融合為復(fù)合特征信息圖；

S4、將步驟S3得到的復(fù)合特征信息圖輸入到U形反卷積網(wǎng)絡(luò)中進(jìn)行特征學(xué)習(xí)，進(jìn)一步得到輸入遙感圖像數(shù)據(jù)的第一全局特征圖；

S5、將步驟S4得到的第一全局特征圖輸入到區(qū)域建議關(guān)注網(wǎng)絡(luò)中進(jìn)行建筑物區(qū)域邊界框提取，得到每個建筑物區(qū)域的局部特征圖；

S6、將步驟S5得到的每張局部特征圖分別輸入到基于邊緣約束損失的多任務(wù)學(xué)習(xí)網(wǎng)絡(luò)中，計(jì)算上述局部特征圖的聯(lián)合混合損失值L；

S7、根據(jù)得到的聯(lián)合混合損失值L優(yōu)化所述多尺度融合U形網(wǎng)絡(luò)、區(qū)域建議關(guān)注網(wǎng)絡(luò)和基于邊緣約束損失的多任務(wù)學(xué)習(xí)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)，并返回至步驟S2，期間重復(fù)執(zhí)行步驟S2-S7，直到步驟S6中輸出的聯(lián)合混合損失值L收斂時，進(jìn)一步執(zhí)行步驟S8；

S8、從所述第一全局特征圖中提取建筑掩模。

2.根據(jù)權(quán)利要求1所述的建筑實(shí)例掩模提取方法，其特征在于，步驟S1中通過2倍上采樣、原尺度和2倍下采樣預(yù)處理操作，將輸入的遙感圖像數(shù)據(jù)處理成三個并行分支；其中：

第一個分支為2X輸入流，第二個分支為1X輸入流，第三個分支為0.5X輸入流。

3.根據(jù)權(quán)利要求2所述的建筑實(shí)例掩模提取方法，其特征在于，步驟S2中，所述第一個分支輸入到3個串聯(lián)的預(yù)訓(xùn)練殘差卷積單元中得到第一尺度特征信息圖；所述第二個 分支輸入到2個串聯(lián)的預(yù)訓(xùn)練殘差卷積單元中得到第二尺度特征信息圖；所述第三個 分支輸入到1個預(yù)訓(xùn)練殘差卷積單元中得到第三尺度特征信息圖。

4.根據(jù)權(quán)利要求2所述的建筑實(shí)例掩模提取方法，其特征在于，所述2X輸入流用于將輸入的圖像插值為2倍大小；所述1X輸入流用于保持圖像的原始大??；所述0.5X輸入流用于將輸入的圖像降采樣為0.5倍大小。

5.根據(jù)權(quán)利要求2或3所述的建筑實(shí)例掩模提取方法，其特征在于，步驟S3中使用2個級聯(lián)的特征拼接和1*1卷積將第一尺度特征信息圖、第二尺度特征信息圖和第三尺度特征信息圖融合為復(fù)合特征信息圖。

6.根據(jù)權(quán)利要求1所述的建筑實(shí)例掩模提取方法，其特征在于，步驟S4中使用的U形反卷積網(wǎng)絡(luò)用于對復(fù)合特征信息圖進(jìn)行建筑物的第一全局特征提??；所述U形反卷積網(wǎng)絡(luò)共包括4個網(wǎng)絡(luò)塊，其中，每個網(wǎng)絡(luò)塊均包括上采樣層和反卷積層，在每個網(wǎng)絡(luò)塊的輔助作用下，進(jìn)一步輸出第一全局特征圖。

7.根據(jù)權(quán)利要求1所述的建筑實(shí)例掩模提取方法，其特征在于，步驟S6中基于邊緣約束損失的多任務(wù)學(xué)習(xí)網(wǎng)絡(luò)引入了ECL邊緣約束損失來增強(qiáng)實(shí)例邊界的響應(yīng)用以提取更精確的建筑物掩碼，并且所述基于邊緣約束損失的多任務(wù)學(xué)習(xí)網(wǎng)絡(luò)中通過計(jì)算輸入圖像的分類損失值L_cls、邊界框損失值L_bbox、掩模損失值L_seg和ECL損失值L_edge，來進(jìn)一步求解輸入圖像的聯(lián)合混合損失值L，并通過計(jì)算得到的聯(lián)合損失值L來進(jìn)一步優(yōu)化整個網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)；其中，聯(lián)合混合損失值L的計(jì)算公式為：

L＝L_cls+λ₁pL_bbox+λ₂pL_seg+λ₃pL_edge；

其中，p∈{0，1}，λ₁、λ₂和λ₃分別為用于平衡加權(quán)因子。

8.根據(jù)權(quán)利要求7所述的建筑實(shí)例掩模提取方法，其特征在于，所述分類損失值L_cls和邊界框損失值L_bbox是基于選定的局部特征圖計(jì)算得到的，所述掩模損失值L_seg和ECL損失值L_edge是基于所有的局部特征圖計(jì)算得到的。