[發(fā)明專利]一種基于Mask RCNN遙感影像分割方法

在審

• 申請?zhí)枺?/td>: 202010664843.7
• 申請日: 2020-07-10
• 公開（公告）號: CN111862115A
• 公開（公告）日: 2020-10-30
• 發(fā)明（設(shè)計）人: 唐振超;張東映;劉燚;羅蔚然;洪志明;黃偉;梁忠壯
• 申請（專利權(quán)）人: 武漢善睞科技有限公司
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06N3/08;G06N3/04
• 代理公司: 上海思牛達專利代理事務(wù)所(特殊普通合伙) 31355
• 代理人: 丁劍

本發(fā)明公開了一種基于Mask RCNN遙感影像分割方法，涉及遙感影像分割技術(shù)領(lǐng)域，包括以下步驟：獲取可變形卷積層，并實現(xiàn)可變形卷積替換Mask RCNN主干網(wǎng)絡(luò)的標(biāo)準卷積；結(jié)合FPN融合底層到高層的特征作為特征輸出；RPN獲取特征輸出生成建議區(qū)域，進行特征提取；ROI Align進行特征圖不同點采樣，并應(yīng)用雙線性插值獲取尺寸為7X7的感興趣區(qū)域；分支網(wǎng)絡(luò)獲取邊界區(qū)域信息、類別信息和掩膜信息。本發(fā)明通過Mask RCNN用于特征提取的卷積層上使用可自適應(yīng)變形的卷積進行替換，實現(xiàn)Mask RCNN的主干網(wǎng)絡(luò)與可變形卷積進行結(jié)合，提取復(fù)雜目標(biāo)的特征，并增強了卷積網(wǎng)絡(luò)對空間變化的自適應(yīng)能力，得到更精確的實例分割結(jié)果，并易于擴展到遙感影像其他目標(biāo)的實例分割任務(wù)上，應(yīng)用范圍廣。

技術(shù)領(lǐng)域

本發(fā)明涉及遙感影像分割技術(shù)領(lǐng)域，具體來說，涉及一種基于Mask RCNN遙感影像分割方法。

背景技術(shù)

高分辨率遙感影像提供了豐富的地物光譜信息，在制圖，城市規(guī)劃，災(zāi)害監(jiān)測等多個領(lǐng)域得到應(yīng)用。遙感影像實例分割作為高分辨率遙感影像信息提取與目標(biāo)識別的前提和基礎(chǔ)，是實現(xiàn)從數(shù)據(jù)到信息的對象化提取的過渡環(huán)節(jié)和關(guān)鍵步驟，具有十分重要的意義。與圖像分類，物體檢測不同，實例分割是指機器自動從圖像中用目標(biāo)檢測方法框出不同實例，再用語義分割方法在不同實例區(qū)域內(nèi)進行逐像素標(biāo)記。在計算機視覺和遙感領(lǐng)域中，實例分割被用在了多種應(yīng)用中，例如：自動駕駛、姿態(tài)估計、遙感影像解譯以及3D重建等。運用深度卷積神經(jīng)網(wǎng)絡(luò)可以從目標(biāo)中自動學(xué)習(xí)特征，不需要人為進行設(shè)計。在許多圖像處理任務(wù)中，深度學(xué)習(xí)模型往往顯著優(yōu)于傳統(tǒng)的方法。

標(biāo)準的卷積總是在特征圖上以固定的區(qū)域進行采樣，該方法不適用于包含復(fù)雜目標(biāo)對象的遙感影像。對于遙感影像中的建筑物，在不同位置拍攝得到的目標(biāo)會產(chǎn)生幾何形變，如果能夠使卷積的采樣自適應(yīng)變形，這對復(fù)雜對象的特征提取會帶來很大幫助。

在實例分割任務(wù)上，Mask RCNN具有良好的表現(xiàn)，如果直接將Mask RCNN應(yīng)用于遙感影像的實例分割，會由于目標(biāo)的復(fù)雜性而遺漏目標(biāo)，且會由于遙感影像目標(biāo)的幾何形變產(chǎn)生錯誤的分割結(jié)果。

針對相關(guān)技術(shù)中的問題，目前尚未提出有效的解決方案。

發(fā)明內(nèi)容

針對相關(guān)技術(shù)中的問題，本發(fā)明提出一種基于Mask RCNN遙感影像分割方法，以克服現(xiàn)有相關(guān)技術(shù)所存在的上述技術(shù)問題。

本發(fā)明的技術(shù)方案是這樣實現(xiàn)的：

一種基于Mask RCNN遙感影像分割方法，包括以下步驟：

步驟S1，獲取可變形卷積層，并實現(xiàn)可變形卷積替換Mask RCNN主干網(wǎng)絡(luò)的標(biāo)準卷積；

步驟S2，結(jié)合FPN融合底層到高層的特征作為特征輸出；

步驟S3，RPN獲取特征輸出生成建議區(qū)域，進行特征提取；

步驟S4，ROI Align進行特征圖不同點采樣，并應(yīng)用雙線性插值獲取尺寸為7X7的感興趣區(qū)域；

步驟S5，分支網(wǎng)絡(luò)獲取邊界區(qū)域信息、類別信息和掩膜信息。

進一步的，所述可變形卷積層，包括以下步驟：

將輸入特征圖記為U，經(jīng)過一個普通的卷積層，輸出與輸入的大小保持不變，但輸出深度擴大兩倍，輸出結(jié)果記為V；

將原始輸入U的像素索引分別與V中的偏置量相加，得到偏置后的像素索引，其中索引限定在輸入特征圖大小以內(nèi)，索引為坐標(biāo)值，且通過雙線性插值獲得準確的像素；

根據(jù)索引重新整合像素，得到輸出特征圖。

進一步的，所述RPN獲取特征輸出生成建議區(qū)域，進一步包括：

對錨點的位置和大小增量進行回歸，包括以下步驟：