[發明專利]一種面向UUV的水下圖像色彩補償與恢復方法

在審

• 申請號: 201910358840.8
• 申請日: 2019-04-30
• 公開（公告）號: CN111861896A
• 公開（公告）日: 2020-10-30
• 發明（設計）人: 梁洪濤;朱鑫;尚茹月;申秀清;史永然;曹仁杰
• 申請（專利權）人: 陜西師范大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T5/40;G06T7/90;G06T5/50
• 代理公司: 西安智萃知識產權代理有限公司 61221
• 代理人: 李炳輝

1.一種面向UUV的水下圖像色彩補償與恢復方法，其特征在于，包括以下步驟：

步驟一：對UUV拍攝到的圖像進行亮通道的提取

根據Jaffe-McGlamery水下光學成像模型得總強光的表達式，即

式(1)中，(x,y)代表圖像中像素具體位置，C∈{R,G,B}代表紅、綠、藍三種通道，J_c(x,y)為原始圖像,I_c(x,y)為衰減后的圖像，A_∞為背景光；E_d(x,y)為攝像機接收的直接光強；c(λ)為總的衰減系數，包含由吸收和散射造成的衰減；λ為圖像R,G,B三個顏色通道中的某一通道；d(x)為物體與UUV之間的距離；g(x,y)為點擴展函數；E_f(x,y)為前向散射光強；E_b(x,y)表示后向散射的光強；

UUV接收到的光由直接分量、前向散射分量和后向散射分量組成，設透射率S_c(x)為：

S_c(x)＝exp[-c(λ)d(x)] (2)

物體與攝像機相距很小時，前向散射光引起的模糊忽略，故式(1)簡化為：

I_c(x,y)＝J_c(x,y)S_c(x)+A_∞[1-S_c(x)] (3)

對等式(3)兩邊和紅、綠、藍三通道鄰域內取最大值來提取亮通道，即

為提取到的亮通道圖；

亮通道獲取方法表示為式(5)：

為獲取圖像I_c(x,y)中各像素點處紅、綠、藍通道的最大值，為最大值濾波，濾波模板尺寸是Ω(x,y)；

步驟二：對步驟一提取亮通道得到的圖像進行亮通道色彩補償

由灰世界白平衡假設得在無噪聲的圖像中紅、綠、藍三種通道具有相同均值的灰度值，經過大量實驗和理論推導得補償后圖像灰度值的均值與衰減后圖像灰度值的均值的差值和原始圖像灰度值的均值成正比，因此，需對衰減圖像乘以補償后圖像灰度值的均值與衰減后圖像灰度值的均值的差值；同時，在水下，三種顏色的通道的衰減不一樣；如果統一處理，會使有些通道的值達到飽和，產生大量白光，因此需對圖像中灰度值較低的色素進行補償；

基于以上分析，提出基于亮通道的色彩恢復算法，即：

式(6)中，C∈{R,G,B}為紅、綠、藍三種顏色的通道，I_c(x,y)為衰減后的圖像，I_BC(x,y)為經過色彩補償后的圖像，為亮通道補償后三種色道的灰度值的均值，衰減圖像三色道灰度值的均值；

式(6)中參與計算的所有圖像像素值均除以255縮小到[0,1]區間，η＝3.5，為向下取整操作，N表示將像素值線性拉伸至[0,255]區間；

步驟三：對步驟二色彩補償后的圖像進行直方圖均衡化處理

在水下復雜的環境下，水的渾濁程度不同帶來的散射效應不一樣，使得圖片呈現出不同程度的模糊，需要用直方圖均衡化算法進一步處理；

在離散形式下，用頻率代替概率，這里用r_k代表I_BC(x,y)的離散灰度級，k為灰度級數，并且下式(7)成立：

其中，0≤r^k≤1,k＝0,1,2,3,…,n-1,n_k為圖像中出現r_k這種灰度的像素數，n是圖像中的像素總數，而就是概率中所述的頻數；

圖像進行直方圖均衡化的函數表達式為：

直方圖均衡化的函數表達式(8)需要滿足兩個條件：(a)T為單值單調遞增函數，(b)0≤r≤L-1存在0≤T(r)≤L-1；

滿足上述兩個條件，累積分布函數將原先灰度級分布不均勻的直方圖轉換成灰度級分布均勻的直方圖，相應的反變換為：

r_i＝T^-1(S_i) (9)

利用變換后的離散灰度級r_i恢復出圖像I_z＝F(r_i)，其中；F為映射函數；

步驟四：UUV拍攝的原圖像再處理，對水下圖像形成模型改進、并對改進后模型中的背景光和水下透射率估計，進一步估計場景恢復J_c

步驟4.1根據Jaffe-McGlamery水下光學成像模型公式(1)得到其簡化水下光學成像模型：

I_c(x)＝t_c(x)J_c(x)+(1-t_c(x))·A_c (10)

其中，x表示圖像中的像素點，I_c表示UUV拍攝的圖像，t_c表示顏色通道的水下透射率，J_c表示清晰的原始圖像，A_c是背景光，c∈{R,G,B}；

水下透射率t_c(x)取決于物體與UUV的距離z(x)和每個通道的水衰減系數β_c,即

t_c(x)＝exp(-β_cz(x)) (11)

步驟4.2對步驟4.1改進的水下圖像形成模型中的背景光估計

采用線性對比度拉伸和邊緣檢測模型來估計背景光A_c，具體原理：首先利用線性對比度拉伸和結構化邊緣檢測獲得I_c的邊緣檢測圖像I_e，并對I_e的像素進行從大到小的排列；其次根據像素點判斷閾值Th對像素進行裁剪，如果像素x大于閾值，則該像素屬于最大連通分量Lc，否則不屬于Lc，具體為：

進一步計算Lc中像素和Sum的平均值Av，將Av作為估計的背景光；

步驟4.3對步驟4.1改進的水下圖像形成模型中的水下透射率估計結合式(10)和式(11)，計算出藍色通道的增量：

計算出紅色通道的增量：

將式(14)兩邊取次方，得：

將衰減系數之間的比率定義為：

進一步，根據補償空間公式(16)，借助水下透射率形成一個與公式(10)相似的結構：

考慮到不同顏色通道的不同的衰減系數，因此，在等式(10)中代替界限J_c≥0，并在藍通道的水下透射率上獲得更低的下限t^LB：

將水下透射率的像素x設置成在式(18)計算出來的t^LB；由于像素x到Lc的二元分類經常導致突然的不連續，因此使用算法soft-matting估計水下透射率：

式(19)中，∑_x∈LcD_M(I(x))表示背景光像素馬哈拉諾必距離的平均值，表示最大的馬哈拉諾必距離，σ_M表示標準差，α(x)表示屬于物體或水域像素的消光系數，

步驟4.4估計場景恢復J_c

根據公式(12)、(18)和(19)進行顏色衰減補償，并估計清晰的原始圖像：

步驟五：對步驟四所恢復的J_c，基于白平衡假設，選取最優的水下恢復圖像

根據Jerlov不同的水域類型，通過灰色世界假設自動選擇最佳結果

步驟六：基于像素級圖像融合，具體是，將步驟三所恢復出的圖像與步驟五選擇出來的最優場景圖像進行圖像融合；

I_z為亮通道色彩補償與直方圖處理后的圖像，為水下3D場景重建恢復的圖片，J為融合處理后的圖像：

式(26)中，α和β是相應的權重且滿足α+β＝1。

2.根據權利要求1所述的一種面向UUV的水下圖像色彩補償與恢復方法，其特征在于，通過灰色世界假設自動選擇最佳結果的具體過程是：

假設水域類型為N個，i＝1,2,…N，p_i表示第i水域類型，J_c有R,G,B三個顏色通道，則具體灰度世界算法處理步驟：

(a)計算水域類型圖像J_c的R,G,B三通道平均值Gray_i：

(b)計算J_c圖像R,G,B三個通道的增益系數：

(c)根據Von Kries對角模型，對于圖像中的每個像素x，調整其R,G,B分量為C_r、C_g和C_b：

(d)根據公式(23)，C_r、C_g和C_b像素個數均為M，對C_r中包含的像素C_rj、C_g中包含的像素C_gj和C_b中包含的像素C_bj分別求和并取平均值avr：

(e)對每個通道avr作差并取絕對值p_i：

p_i＝|avr_r-avr_g-avr_b| (25)

比較在不同水域類型下所計算出來的差值p_i，選取差值最小的水域類型所對應的圖像作為