[發明專利]基于多尺度密集特征融合卷積網絡的管道視頻去霧方法

在審

• 申請號: 202310300438.0
• 申請日: 2023-03-27
• 公開（公告）號: CN116228592A
• 公開（公告）日: 2023-06-06
• 發明（設計）人: 李策;喬靜怡;姜中博;唐崢巖;黃瑛潔
• 申請（專利權）人: 中國礦業大學（北京）
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T5/50;G06N3/0464;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于多尺度密集特征融合卷積網絡的管道視頻去霧方法，其特征在于，包括以下步驟：

步驟(1)、在實驗管道模型里用雙目相機采集管道清晰圖像和深度圖像，利用大氣散射模型生成管道帶霧圖像。大氣散射模型是帶霧圖像生成的經典描述，它認為帶霧圖像是由被霧削弱的物體反射的光線和被霧反射的大氣光進入攝像機共同組成的，其表達式為：

H(x)＝C(x)t(x)+A(1-t(x))?????????(1)

公式(1)中，參數x表示圖像中像素點的位置，H(x)表示利用管道清晰圖像和深度圖生成的管道帶霧圖像，C(x)表示管道清晰圖像，A表示全局大氣光，通常情況下假設為全局常量，t(x)表示透射率，描述物體反射光線經過衰減能夠到達觀測點的比例，在公式(1)中，t(x)公式如下：

t(x)＝e^-βd(x)????(2)

公式(2)中，β表示散射系數，d(x)表示物體和相機之間的距離。深度圖像是指將圖像采集器到場景中各點的距離作為像素值的圖像，因此，通過公式(1)和公式(2)，可以由管道清晰圖像和深度圖生成管道帶霧圖像，從而構建管道帶霧/清晰圖像對作為管道數據集，并把管道數據集劃分為訓練集和測試集；

步驟(2)、基于U-net架構，引入SOS圖像細節增強策略和密集特征融合模塊，構建基于多尺度密集特征融合卷積網絡的去霧方法；

基于多尺度密集特征融合的去霧網絡包含三個組件，一個編碼器模塊，一個特征恢復模塊，一個增強的解碼器模塊。整體網絡結構基于U-net架構，在解碼器中結合了SOS增強策略，在編碼器和解碼器中各引入了一個密集特征融合模塊，一個在編碼器的殘差組之前，另一個在解碼器的SOS增強模塊之后；

解碼器第n層級的DFF模塊由公式(3)定義：

公式(3)中，jⁿ表示解碼器第n層級的增強特征(即SOS增強模塊的輸出)，表示通過特征融合的融合特征(即第n層級DFF模塊的輸出)，L表示網絡層級數，而表示解碼器中前面所有(L-n)層級DFF模塊輸出的融合特征。關于每次用一個融合特征增強jⁿ特征的更新過程如下所示：

計算在第t次迭代，和的差異如公式(4)所示：

公式(4)中，表示投影算子，該算子將增強特征下采樣到和相同的維度；

再用反投影差異更新如公式(5)所示：

公式(5)中，表示反投影算子，該算子將第t次迭代的差異上采樣到和相同維度；

迭代完前面的所有融合特征得到現在最終的融合特征

該過程中的和采用卷積/反卷積層學習相應的下采樣/上采樣操作。為了避免引入太多參數，我們堆疊(L-n-t)個步長為2的卷積/反卷積層去實現的下采樣/上采樣操作。

相應的，編碼器第n層級的DFF模塊可由公式(6)定義：

公式(6)中，iⁿ是編碼器第n層級的潛在特征，表示編碼器中前面所有(n-1)層級DFF模塊輸出的融合特征，與解碼器第(L-n)層級的具有相同的體系結構，只是需要互換其中下采樣操作和上采樣操作的位置。

在去霧的U-Net網絡中，將解碼器解釋為無霧圖像恢復模塊，為了逐步完善特征恢復模塊中的特征j⁵，在網絡的解碼器中加入了SOS增強策略。在第n層級的SOS增強模塊中，首先對上一層級得到的特征圖iⁿ⁺¹進行上采樣，用同一層級對應的編碼器得到的特征圖iⁿ進行相加來增強它，然后送入到修復單元中，再減去上采樣后的jⁿ⁺¹，結果為第n層級SOS增強模塊輸出的增強特征jⁿ，如公式(7)所示：

公式(7)中，U₂表示比例因子為2的上采樣操作，iⁿ+U₂(jⁿ⁺¹)表示強化后的特征，表示第n層參數為θ_n的可訓練修復單元，使用編碼器中使用的殘差組來實現每個修復單元。在解碼器的最后一層中，使用一個步長卷積層從最后的特征圖中得到最終的管道無霧圖像。

步驟(3)、將步驟(1)中構建的訓練數據集送入步驟(2)中構建的基于多尺度密集特征融合的增強去霧網絡，以訓練去霧網絡模型，使用Adam優化算法更新神經網絡權重。

基于多尺度密集特征融合的增強去霧網絡包含五個卷積層和五個反卷積層，在每個卷積層和反卷積層之后使用負斜率為0.15的激活函數和實例歸一化函數。殘差組由3個殘差塊組成，在特征恢復模塊中使用了18個殘差塊。在編碼器模塊的第一個卷積層中，將卷積核大小設置為11×11，在所有其他卷積和反卷積層中，將卷積核大小設置為3×3。用訓練數據集訓練去霧網絡模型，用Adam優化算法更新神經網絡權重；

步驟(4)、使用步驟(1)中構建的測試數據集測試訓練好的去霧網絡模型，實現管道視頻的去霧，并對去霧效果進行客觀評價。

采用的客觀質量評價標準為：均方誤差、峰值信噪比和結構相似度。其中，均方誤差(Mean?square?error，MSE)表示輸入圖像和輸出圖像的均值方差，它是對圖像處理的有效信息保留能力的度量，其計算公式為：

公式(8)中，N為訓練集的樣本數，H和W為訓練集圖像的高和寬，表示原始清晰圖像，J_i表示生成的去霧圖像。

峰值信噪比(Peak?signal-to-noise?ratio，PSNR)是描述最大像素值與噪聲的比值，值越高，抗噪能力越強。其計算公式為：

公式(9)中，MAX為圖像的最大像素值，通常取值為255，MSE為均方誤差。

結構相似度指數測量(structural?similarity，SSIM)用向量表示圖像，用向量之間的余弦距離表示兩幅圖像之間的相似度。設給定的兩幅圖像X和Y的尺寸均是M×N，它們的均值分別為μ_x和μ_y，它們的方差分別為σ_x和σ_y，它們的協方差為σ_xy，定義亮度對比函數l(X，Y)、對比度對比函數c(X，Y)和結構比較函數s(X，Y)分別如下：

公式(10)、公式(11)和公式(12)中的c₁、c₂和c₃是常數，用來避免公式中的分母為0的情況。綜合考慮亮度對比函數、對比度對比函數以及結構比較函數之間的權重影響，定義結構相似度函數如下：

SSIM(X，Y)＝[l(X，Y)]^α[c(X，Y)]^β[s(x，Y)]^γ????(13)

公式(13)中的α、β和γ均是大于0的數，用于調整三個參數的不同權重值。一般情況，為了簡化，取α＝β＝γ＝1，且令c₂＝2c₃，于是可以得到簡化的結構相似度函數如下：

通常情況下，可以按照c₁＝(k₁L)²，c₂＝(k₂L)²的方式對c₁和c₂進行取值，其中常取k₁＝0.01，k₂＝0.03，L是像素值的動態范圍，例如8位灰度圖像的像素值最大動態范圍是255。