[發明專利]一種基于多模態數據融合的遙感圖像語義分割方法在審
| 申請號： | 201911064946.3 | 申請日： | 2019-11-04 |
| 公開（公告）號： | CN110796105A | 公開（公告）日： | 2020-02-14 |
| 發明（設計）人： | 周勇;楊勁松;趙佳琦;夏士雄;姚睿;劉兵;杜文亮;王秋 | 申請（專利權）人： | 中國礦業大學 |
| 主分類號： | G06K9/00 | 分類號： | G06K9/00;G06K9/62;G06K9/48;G06T7/12;G06N3/04;G06N3/08 |
| 代理公司： | 32249 南京瑞弘專利商標事務所(普通合伙) | 代理人： | 陳國強 |
| 地址： | 221000 *** | 國省代碼： | 江蘇;32 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 遙感圖像 注意力機制 語義分割 雙流 融合 計算機視覺領域 多模態數據集 多模態數據 網絡解碼器 解碼特征 輸入特征 輸入圖像 特征融合 網絡結構 遙感數據 優化模型 語義信息 編碼器 多模態 深度圖 像素點 多層 構建 尺度 網絡 | ||
1.一種基于多模態數據融合的遙感圖像語義分割方法，其特征在于：包括如下步驟：
(1)構建雙流語義分割網絡，包括如下步驟：
(11)構建雙流語義分割網絡的特征提取器；
(12)引入多層特征融合；
(13)構建雙流語義分割的解碼器，并引入注意力機制，形成雙流語義分割網絡；
(2)構建數據集并進行雙流語義分割網絡訓練，包括如下步驟：
(21)構建數據集；
(22)進行雙流語義分割網絡訓練；
(3)運行雙流語義分割網絡。
2.根據權利要求1所述的基于多模態數據融合的遙感圖像語義分割方法，其特征在于：所述步驟(11)，具體包括如下：
(111)刪除卷積神經網絡結構中的全連接層，形成一個通過卷積將輸入張量轉化成小尺度張量的編碼器，采用該編碼器對輸入的RGB圖進行編碼，將對RGB圖進行編碼的編碼器稱為RGB圖通道；
(112)復制一個與步驟(111)相同的編碼器，采用該編碼器對深度圖進行編碼，將對深度圖進行編碼的編碼器稱為深度圖通道。
3.根據權利要求1所述的基于多模態數據融合的遙感圖像語義分割方法，其特征在于：所述步驟(12)，具體包括如下：
(121)計算深度圖通道與RGB圖通道中經過第一步池化卷積的特征D1與F1；
(122)進行第一次特征融合R1＝D1+F1；
(123)計算深度圖通道與RGB圖通道中經過第二步池化卷積的特征D2與F2，其中，D2是由D1經過池化卷積得到，F2是由R1經過池化卷積得到；
(124)進行第二次特征融合R2＝D2+F2；
(125)計算深度圖通道與RGB圖通道中經過第三步池化卷積的特征D3與F3，其中，D3是由D2經過池化卷積得到，F3是由R2經過池化卷積得到；
(126)進行第三次特征融合R3＝D3+F3；
(127)計算深度圖通道與RGB圖通道中經過第四步池化卷積的特征D4與F4，其中，D4是由D3經過池化卷積得到，F4是由R3經過池化卷積得到；
(128)進行第四次特征融合R4＝D4+F4；
(129)計算深度圖通道與RGB圖通道中經過第五步池化卷積的特征D5與F5，其中，D5是由D4經過池化卷積得到，F5是由R4經過池化卷積得到；
(130)進行第五次特征融合R5＝D5+F5。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于中國礦業大學，未經中國礦業大學許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201911064946.3/1.html，轉載請聲明來源鉆瓜專利網。
