[發明專利]一種基于卷積神經網絡的多光譜遙感圖像去霧方法

有效

• 申請號: 201710452054.5
• 申請日: 2017-06-15
• 公開（公告）號: CN107256541B
• 公開（公告）日: 2020-01-24
• 發明（設計）人: 謝鳳英;秦曼君;姜志國
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06T5/00
• 分類號: G06T5/00
• 代理公司: 11232 北京慧泉知識產權代理有限公司
• 代理人: 王順榮;唐愛華

1.一種基于卷積神經網絡的多光譜遙感圖像去霧方法，其特征在于：該方法包括如下步驟：

步驟1：多光譜圖像去霧波段選擇

以下針對Landset8 OLI采集的多光譜圖像進行去霧，Landset8 OLI圖像有9個波段，其中波段6、7、9三個波段的波長是大于1的，可以穿透水粒子，因此這三個波段不受霧的影響；而剩下的6個波段即波段1至5、以及波段8分別是海岸、可見光、近紅外以及全色波段，它們的波長是小于1的，會受到霧的影響，因此針對這6個受霧影響的波段進行去霧；

步驟2：建立去霧模型

霧天成像模型可描述為：

I(x)＝J(x)t(x)+A(1-t(x)) (1)

其中，I(x)為有霧圖像，J(x)為對應的清晰圖像，A是全局大氣光，t(x)為透射圖，x表示像素；

根據霧天成像模型，去霧圖像和原始帶霧圖像之間為線性關系，令h代表有霧圖像，g表示被恢復的清晰圖像，函數F代表有霧圖像與對應清晰圖像之間的映射關系，則去霧問題可以建模為以下形式，即去霧模型：

g＝F(h) (2)

根據公式(1)，一旦獲得映射關系F，則給定一個有霧圖像h，通過函數關系映射便可得到清晰圖像，從而實現圖像去霧；

采用一個殘差卷積網絡來擬合有霧圖像到清晰圖像之間的映射關系F(h)；具有殘差結構的卷積神經網絡，其輸入不僅傳遞給卷積層，并且在網絡末端與卷積層的輸出直接相加，形成最終的網絡輸出；殘差網絡中卷積層學習到的模型可描述為：

H(h)＝F(h)-h (3)

由于霧的濃度和分布是多樣的，使用具有一個殘差結構的網絡模型進行霧成分的學習是很困難的，因此，我們把去霧模型(2)進一步分解為以下多個子任務，即多步去霧模型：

g₀＝F₀(h)，g₁＝F₁(g₀)，......，g＝F_n(g_n-1) (4)

其中，每個F_i都是相對于F的弱映射；根據該多步去霧模型，有霧圖像h通過一系列的F_i被逐步去霧，最終恢復為清晰圖像；相應的，對于每一個子映射F_i，采用具有殘差結構的淺層卷積網絡來擬合，將這些殘差塊級聯起來組成一個深度卷積網絡，實現霧的逐步去除；

步驟3：設計卷積神經網絡

根據步驟2中的多步去霧模型(4)，我們設計的網絡結構為：

Conv₁(3×3×16)→ResBlock₁(3×3×16)→…→ResBlock_n(3×3×16)→Conv_m(3×3×6)

其中，Conv表示卷積層，ResBlock表示殘差塊；每個殘差塊為一個兩層的殘差卷積結構，即ResBlock(3×3×16)＝[Conv(3×3×16)，Conv(3×3×16)]；

步驟4：訓練卷積神經網絡

以下仿真生成波長相關的霧作為訓練樣本來對網絡進行訓練：

1)訓練樣本生成

根據霧天成像模型(1)可知，給定一幅清晰圖像J，通過調整全局大氣光A和透射圖t的值，代入到霧天成像模型中即可得到一幅有霧圖像；由于多光譜圖像各波段的透射圖之間具有一定的相關性，為清晰的多光譜圖像設置透射圖時，不同波段的透射圖之間需滿足相應的關系；因此，先推導不同波段透射圖之間的相關性，然后利用這個相關性來生成波長相關的帶霧多光譜圖像，即仿真得到有霧圖像；

2)網絡訓練

用上述步驟仿真得到的有霧圖像樣本對網絡進行訓練，實現有霧圖像到清晰圖像之間映射關系的學習；

由于卷積神經網絡被用來解決回歸問題，網絡采用歐式距離作為損失函數：

其中，N為圖像個數，為網絡的實際輸出結果，g_n為真值圖像；選擇隨機梯度下降法來優化該損失函數，用仿真得到的有霧圖像對網絡進行迭代學習，更新網絡參數，當網絡的損失值趨于穩定時，即可結束訓練，此時保存的網絡參數即為訓練好的去霧網絡模型；

步驟5：多光譜遙感圖像去霧

實現一幅多光譜遙感圖像去霧，只需將圖像輸入到步驟4訓練好的去霧網絡模型中，通過網絡的前向傳播，即可在網絡的輸出端得到被恢復的清晰圖像；

步驟4中，推導不同波段透射圖之間的相關性，具體方法如下：

針對Landset8中6個受霧影響的波段去霧，先取波段1為基準波段，來推導其他5個波段與波段1之間的透射圖相關性；

根據霧成像的物理模型，透射圖t可描述為：

t(x)＝e^{-β(x，λ)d(x)} (5)

其中，d(x)表示真實場景中的物體到傳感器之間的距離，遙感圖像中，d(x)可看作是常量；β(x，λ)為衰減系數，反映了光被大氣中的粒子散射的程度，與大氣中的粒子和波長λ相關；具體地，根據Rayleigh散射模型，衰減系數β可描述為：

其中，參數γ反映了大氣中粒子的大小，在霧天情況下，γ的值在[0.5，1]之間；

為了推導不同波段透射圖之間的關系，首先對透射圖t的表達式兩邊取自然對數，可得：

lnt＝-dβ (7)

由于d為固定的常量，因此波段1與其他波段之間關于lnt的比率為：

lnt₁：lnt_i＝β₁：β_i (8)

其中t_i和β_i分別是波段i的透射圖和衰減系數；進一步變換以上公式可得：

最后，將Rayleigh散射模型(6)代入公式(9)，即可得到波段1與其他波段透射圖之間的關系表達式：

其中，λ_i是第i個波段的波長，一般取波段的中間波長即可；γ為Rayleigh散射模型中的參數，取值范圍為[0.5，1]，值越大，對應的霧越濃；從(10)可以看出，只要給出基準波段的透射圖t₁以及γ的值，其他5個波段的透射圖即可通過(10)計算得到。