[發明專利]基于視差圖和多尺度深度網絡模型的遙感圖像分割方法

有效

• 申請號: 201910407103.2
• 申請日: 2019-05-16
• 公開（公告）號: CN110163213B
• 公開（公告）日: 2022-12-06
• 發明（設計）人: 焦李成;陳潔;李曉童;張若浛;郭雨薇;李玲玲;屈嶸;楊淑媛;侯彪
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06V10/26
• 分類號: G06V10/26;G06T7/11;G06T7/55
• 代理公司: 陜西電子工業專利中心 61205
• 代理人: 王品華

1.基于視差圖和多尺度深度網絡模型的遙感圖像分割方法,其特征在于，包括如下：

(1)讀入由p張圖像組成遙感圖像分割任務的數據集；

(2)生成遙感圖像分割的訓練數據集：

(2a)對數據集進行類別均衡，即針對數據集中數據量最小的類別，將數據集中所有包含此類的圖片挑選出來，并對這些圖片依次進行不同角度的旋轉、鏡像和對比度調整，以增加此類訓練數據的數目；

(2b)對均衡類別后的數據集進行數據擴充，即隨機挑選圖片，并對其進行不同角度的旋轉、鏡向以及調整顏色對比度和光的亮度；

(2c)對擴充后的數據集進行圖像裁剪，將所有圖像統一裁剪為r*r個像素，得到k幅用于遙感圖像分割任務的數據集，并從該數據集中選取80％的數據集作為分割任務的訓練集，20％的數據集作為分割任務的驗證集，其中400≤r≤550，k≥25000；

(3)利用深度學習平臺構建多尺度融合的深度分割網絡模型：

該模型結構依次設有106層，其中前101層為殘差網絡，用于作為分割的特征提取網絡，輸出q*q個像素的特征圖；第102層為池化層，用于對網絡輸出的特征圖分別進行5種不同尺度的平均池化；第103層為卷積上采樣層，用于將池化得到的5種不同尺寸的特征圖均上采樣到q*q個像素；第104層為特征融合層，用于對輸出特征圖進行逐像素相加的特征融合；第105和106層為均為卷積層，用于輸出分割預測結果；

(4)訓練深度分割網絡模型，并保存迭代模型：

將分割任務訓練數據集輸入到深度分割網絡模型中，使用訓練參數對深度分割網絡模型進行迭代訓練，迭代次數為b次，損失函數為稀疏交叉熵函數，優化算法為自適應學習率調整算法Adadelta，其中20≤b≤100；

完成一次迭代表示將訓練數據集中所有圖片送入分割網絡中訓練一次，保存7個不同迭代次數的模型；

(5)將待測試的場景圖輸入到保存的分割網絡模型中，得到7種不同的分割結果圖；

(6)對7個分割模型預測得到的分割結果圖進行多數投票，得到投票后的分割結果圖；

(7)設置超像素個數為g，采用SLIC超像素算法，對投票后的分割結果圖進行超像素處理，以去除分割結果圖內部的縫隙并優化該分割結果圖的邊緣信息，得到初始的分割結果圖；

(8)對待測試場景采用SGBM半全局立體匹配算法，得到待測試場景的視差圖；

(9)用視差圖優化初始的分割結果圖：

(9a)用n*n像素的窗口遍歷待測試場景的視差圖，并計算視差圖上窗口所包含區域的平均值x和最大值y，步長為s，其中n＝7，s＝4；

(9b)設置視差的閾值參數m＝6，將x、y的差值與m進行比較：

若x-y≤m，則統計上述窗口在初始的分割結果圖上相應位置的n*n個像素點的類別，如果數目最多的類別所占像素點個數超過n/2，則將窗口內像素點的類別都統一置為數目最多的類別，否則，對分割結果圖不進行處理；

若x-ym，則統計上述窗口在初始的分割結果圖上相應位置的n*n個像素點的類別，如果數目最多的類別所占像素點個數小于n/2，則將窗口內像素點的類別都統一置為數目最小的類別，否則，對分割結果圖不進行處理；

(9c)對每個n*n像素的窗口都執行(9b)的操作，直到遍歷完整幅待測試場景的視差圖，得到測試場景中每個像素點的類別，即最終的分割結果圖。

2.根據權利要求1所述的方法,其特征在于:步驟(2c)中對擴充后的數據集進行圖像裁剪，是將原始圖像進行隨機且有重疊的裁剪，即將每張圖像裁剪為有重疊區域的5張r*r像素的圖像。

3.根據權利要求1所述的方法,其特征在于:步驟(3)中池化層對網絡輸出的特征圖分別進行5種不同尺度的平均池化，是將池化窗口大小分別設為80*80，50*50，40*40，20*20，10*10這5種尺寸，并對每種窗口區域內的像素值取平均值。

4.根據權利要求1所述的方法,其特征在于:步驟(3)中卷積上采樣層對池化得到的5種不同尺寸的特征圖均上采樣，是對5種不同尺寸的特征圖分別進行雙線性插值方式的上采樣，得到5個q*q像素的特征圖。