[發明專利]一種去霧效果的無參考客觀評價方法

有效

• 申請號: 201810359895.6
• 申請日: 2018-04-20
• 公開（公告）號: CN108961206B
• 公開（公告）日: 2021-05-11
• 發明（設計）人: 謝鳳英;陳嘉杰;秦曼君;姜志國
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/90;G06T5/00
• 代理公司: 北京慧泉知識產權代理有限公司 11232
• 代理人: 王順榮;唐愛華

1.一種去霧效果的無參考客觀評價方法，其特征在于：具體步驟如下：

步驟1：構建清晰度評價指標

一幅清晰的去霧圖像具有增強的對比度和去除的霧效應，需要構造對比度特征和霧殘留度特征，通過將這兩種特征相結合來評價圖像的清晰度水平；

1.1 多尺度對比度特征描述

對于一張圖像，通過在非重疊的滑動窗口內計算局部均方根來定義它的對比度圖，具體描述為：

其中，I表示一張圖像的灰度圖，k表示局部窗口的大小，u，v是窗口位置的橫縱坐標，x,y為局部窗口內的位置坐標，μ為局部窗口內的均值，定義如下：

通過對圖像I進行多次下采樣來生成一系列子圖像I⁽⁰⁾，I⁽¹⁾，...，I⁽ⁿ⁾，從而得到圖像金字塔；其中，I⁽⁰⁾表示初始圖像，I^(j+1)是I^(j)下采樣的結果；為了保證下采樣圖像的大小滿足后續處理的需要，最后一層的圖像I⁽ⁿ⁾的大小應滿足以下約束：

min(h⁽ⁿ⁾，w⁽ⁿ⁾)≥ξ (3)

其中，h⁽ⁿ⁾和w⁽ⁿ⁾表示圖像I⁽ⁿ⁾的高和寬；

對于圖像金字塔中的每一張圖像I^(j)，根據公式(1)計算其在不同窗口下的對比度圖局部窗口大小k的取值根據下式計算：

其中，表示圖像金字塔中第j層圖像的第i個對比度圖的窗口大小，表示向下取整操作，m表示生成的對比度圖個數，m的值取為3，即金字塔中的每一張圖像I^(j)具有3種不同尺度的對比度圖從公式(4)看出，局部窗口的最大尺寸為這保證了對比度圖的最小尺寸為10×10；

由于每一張圖像I^(j)對應的3種對比度圖具有不同的尺寸，采用最近鄰插值法重新調整的大小，使其與的大小保持一致；之后，采用逐像素取最大操作對三張對比度圖進行融合：

獲得金字塔中每張圖像的CMap^(j)，則定義圖像的對比度描述子為以下形式：

其中，N_n表示CMapⁿ中像素點的個數，T表示向量轉置；

最后，構造圖像的多尺度對比度特征為以下形式：

其中，和分別表示去霧圖像的對比度描述子結果和帶霧圖像的對比度描述子結果；該多尺度對比度特征MC描述了去霧圖像的對比度增強程度，MC越大，復原后的圖像對比度增強越多，圖像越清晰；

1.2 霧殘留度特征描述

去霧圖像中霧的殘留度也影響了圖像的清晰程度；霧去除的越干凈，圖像越清晰；根據暗通道先驗理論，在非天空區域，對于清晰的自然圖像，至少有一個通道在局部區域內的最小值是接近于0的；相反，有霧圖像不滿足該規律，其在局部區域內的最小灰度值是大于0的；對于一幅去霧圖像，越多的霧被去除，就有越多的像素點滿足暗通道先驗規律；因此，利用暗通道特征來度量去霧圖像的霧殘留度；

一幅圖像的暗通道被定義為以下形式：

其中，c為r,g,b三個顏色通道中的一個，I^c表示去霧圖像的一個顏色通道，Ω(x)表示以像素點x為中心的局部區域，區域大小為15×15，y表示局部區域Ω(x)內的像素；暗通道圖像的平均值反映去霧圖像中霧的殘留程度，為了降低亮度效應的影響，用RGB三個通道之和對其進行歸一化，則去霧圖像的霧殘留度特征描述為：

其中，S表示圖像區域，ε為一個很小的值，其作用為防止分母為零，取為10^-6；該霧殘留度特征用來衡量圖像欠去霧的程度，DC的值越大，說明滿足暗通道先驗規律的像素點越少，圖像中殘留的霧越多；

1.3 清晰度評價指標構造

分別從對比度增強和霧殘留度兩方面衡量去霧圖像的清晰程度；所構造的多尺度對比度特征MC和霧殘留度特征DC分別反映了去霧圖像的對比度增強程度和霧殘留程度；MC越大，去霧后圖像的對比度增強越多；DC越小，去霧圖像中殘留的霧越少；將這兩個特征相結合來反映圖像的清晰程度，具體形式如下：

VI＝αMC-(1-α)DC (10)

其中，α為一個控制系數，用于調節兩種特征的相對重要性；

厚霧圖像中的霧更難去除并且容易出現欠去霧現象，而霧殘留度特征DC更有效地評價圖像的欠去霧效果，因此，對厚霧圖像的去霧結果進行評價時，應采用小的α值；通過對大量帶霧圖像暗通道的統計，圖像中厚霧像素點滿足以下約束：

I^dc(x)＞0.6 (11)

圖像中厚霧面積越大，越容易出現欠去霧效果，則霧殘留度特征應占有更大比重；而厚霧面積越小，越不容易出現欠去霧效應，則霧殘留度特征應占有小的比重；因此，定義控制系數α的取值為以下形式：

其中，r表示厚霧像素點在整張圖像中所占的比例；

步驟2：構建顏色保真度評價指標

分別構造色調相似度特征和自然度特征，用來表征去霧圖像的色彩偏移程度和過飽和程度；通過將這兩種特征相結合，得到顏色保真度評價指標；

2.1 色調相似度特征描述

HSV顏色空間描述了顏色的直觀特性，其由色調、飽和度和明度三個分量構成；其中，明度分量反映了圖像的明亮程度，色調分量和飽和度分量分別表征圖像顏色的色度和純度信息，與人眼視覺對顏色的感知相符；一幅圖像在去霧前后，其亮度和飽和度是變化的，而色調應該基本保持不變；從該角度出發，構造色調相似度特征來反映去霧后圖像的色彩偏移程度；

首先，將圖像從RGB顏色空間轉換到HSV空間，具體計算公式如下：

V＝max(R，G，B) (13)

其中，V表示明度分量，取值范圍在[0,1]之間，S表示飽和度分量，取值范圍為[0,1]，H表示色調分量，取值范圍為[0,360]；

然后，將色調分量H劃分為100個小區間，分別統計帶霧圖像和去霧圖像的色調直方圖；由于去霧前后圖像的色調信息應該保持基本不變，則二者的色調直方圖的形狀應該是相似的；兩個直方圖向量之間的距離反映直方圖形狀的相似程度；采用余弦相似度來衡量兩個直方圖向量之間的距離：

其中，H^h表示帶霧圖像的色調直方圖，H^d表示去霧圖像的色調直方圖；由于兩個直方圖向量均為正值，該余弦相似度的取值范圍在[0,1]之間，D越接近于1，說明距離越小，去霧前后圖像的色調直方圖越相似；D越接近于0，說明距離越大，去霧前后圖像的色調直方圖越不相似；

為了使結果更具有魯棒性，采用Sigmoid函數對余弦相似度的結果進行非線性拉伸，具體為：

公式(17)即為構造的色調相似度特征，其結果的取值范圍在[0,1]之間，HS越大，去霧后圖像的色調保持性越好，HS越小，去霧圖像的顏色偏移越嚴重；需要注意的是，原始圖像中的厚霧區域無法提供有效的色調信息，其與復原后的色調不一致是正常情況；因此，需要在計算色調直方圖時排除厚霧區域；該區域通過計算暗通道，并尋找滿足公式(11)的像素點的方式提取；

2.2 自然度特征描述

顏色失真的另一種形式是過飽和；過飽和會導致圖像色彩過于鮮艷，顏色不自然，與人眼視覺愉悅感不符；通過觀察發現，在過飽和圖像中，有更多的像素點具有高的飽和度值，其飽和度直方圖集中在坐標軸的右半部分，而正常圖像的飽和度直方圖分布均勻；為了獲得正常圖像的飽和度分布規律，對于一幅去霧圖像，顏色越自然，其飽和度直方圖的中間值應該離集中點越近，而過飽和越嚴重，其飽和度直方圖的中間值向右偏離集中點越遠；因此，對于一幅去霧圖像，用它的飽和度直方圖中間值到集中點的距離來定義該圖像的自然度特征：

ND＝1-max(0，S^d-S^a) (18)

其中，S^d表示去霧圖像的飽和度直方圖的中間值，S^a表示統計的平均飽和度圖的直方圖中間值，S^a為0.35，ND的取值范圍為[0.35,1]；

公式(18)即為構造的自然度特征，ND值越接近1，說明去霧圖像的自然度越高；ND值越接近0.35，說明去霧圖像的過飽和越嚴重；

2.3 顏色保真度指標構造

分別從色彩偏移和過飽和兩方面來衡量去霧圖像的顏色保真度；所構造的色調相似度特征HS和自然度特征ND分別反映了去霧圖像的顏色偏移程度和過飽和程度；HS越大，色彩偏移量越小；ND越大，過飽和現象越弱；將這兩個特征相結合來反映圖像的顏色保真程度，具體形式如下：

CI＝θHS+(1-θ)ND (19)

其中，θ為一個控制系數，在本文中取為1/2；

顏色保真度指標CI能有效評價去霧圖像的顏色保真程度；CI值越接近1，去霧后圖像顏色偏移越小，過飽和效應越弱，顏色保真度越高；

步驟3：構建綜合評價指標

好的去霧結果應該具有清晰的紋理信息，并且保持顏色不變；將清晰度指標和顏色保真度指標相結合，去霧圖像的綜合質量評價指標定義如下：

DQI＝VI^pCI^q (20)

其中，p和q用來調節清晰度和顏色保真度在綜合評價指標中的比重；

對一幅去霧圖像的質量進行評價，根據公式(10)和(19)計算清晰度指標和顏色保真度指標的結果，再通過公式(20)即得到去霧圖像質量的綜合評價結果。