[發明專利]一種基于YUV和多特征分離的紅外偏振圖像的融合方法

有效

• 申請號: 201811180887.1
• 申請日: 2018-10-09
• 公開（公告）號: CN109410161B
• 公開（公告）日: 2020-11-13
• 發明（設計）人: 宋斌;冉駿;陳蓉
• 申請（專利權）人: 湖南源信光電科技股份有限公司
• 主分類號: G06T5/50
• 分類號: G06T5/50
• 代理公司: 長沙國科天河知識產權代理有限公司 43225
• 代理人: 董惠文

1.一種基于YUV和多特征分離的紅外偏振圖像的融合方法，其特征在于，包括以下步驟：

S1、利用Stokes矢量表示光的偏振態，然后根據Stokes矢量計算偏振度圖像P和偏振角圖像R；

S2、根據偏振度和偏振角圖像的共有部分Co求解出偏振度圖像的獨有部分P'和偏振角圖像的獨有部分R'；

S3、利用基于暗原色理論的多特征分離方法融合圖像P'和R'；

S4、利用步驟S3的融合結果和總強度圖像I在YUV空間進行融合，得到最終的融合結果；

所述步驟S1中Stokes矢量S的表示方式如式(1)所示：

式中，I₁、I₂、I₃和I₄分別代表采集到的偏振方向為0°、45°、90°和135°度的光強度圖像；I代表光的總強度；Q代表水平偏振和垂直偏振之間的強度差，U代表偏振方向在45°和135°之間的強度差；V代表光的左旋和右旋圓偏振分量之間的強度差；

偏振光的偏振度圖像P和偏振角圖像R表示為：

所述步驟S2中，

對圖像P和R中的每個像素利用公式(4)獲得圖像P和R的共有部分Co：

Co＝min(P,R) (4)

然后利用公式(5)和(6)分別獲得偏振度圖像的獨有部分P'和偏振角圖像的獨有部分R'：

P'＝P-Co (5)

R'＝R-Co (6)；

所述步驟S3包括以下步驟：

S3.1、基于暗原色理論對圖像P'和R'進行多特征分離，獲得圖像P'和R'各自的暗特征、亮特征和細節特征圖像；

S3.2、采用基于局部區域能量特征的匹配方法融合圖像P'和R'的亮特征圖像；采用基于局部區域加權方差特征的匹配方法融合圖像P'和R'的暗特征圖像；利用模糊邏輯和特征差異驅動融合圖像P'和R'的細節特征圖像；

S3.3、融合步驟S3.2中的亮特征圖像、暗特征圖像和細節特征圖像的結果，獲得圖像P'和R'的融合結果；

所述步驟S3.1中，

暗原色用于估算大氣散射模型中的透射率，實現對自然圖像快速去霧，暗通道圖的求解方法如公式(7)所示：

式中，C為圖像的三個顏色通道R、G、B；N(x)為以像素點x為中心的窗口領域內的像素；L^C(y)為圖像的一個顏色通道圖；L^dark(x)為暗通道圖，反映了圖像霧化程度，對于無霧圖像，它的暗通道L^dark(x)值趨于0；對于有霧圖像，L^dark(x)值較大；

通過公式(7)獲得偏振度圖像獨有部分P'的暗原色圖像

通過公式(7)獲得偏振角圖像獨有部分R'的暗原色圖像

采用基于暗原色理論的多特征分離，分別獲得兩幅圖像的亮特征、暗特征和細節特征的步驟為：

S3.1.1、分別利用公式(8)和(9)獲得圖像P'取反之后的圖像和圖像R'取反之后的圖像再將暗原色圖像和分別與圖像和按照絕對值取小的規則進行融合，獲得圖像P'的暗特征圖像D_P'和圖像R'的暗特征圖像D_R'，如公式(10)和(11)所示；

S3.1.2、將和分別與其對應的圖像D_P'和D_R'作差，獲得圖像P'的亮特征圖像L_P'和圖像R'的亮特征圖像L_R'，如公式(12)和(13)所示：

S3.1.3、將圖像P'和圖像R'分別與暗原色圖像和暗原色圖像作差，獲得圖像P'的細節圖像P_P'和圖像R'的細節圖像P_R'，如公式(14)和(15)所示；

所述步驟S3.2中采用基于局部區域能量特征的匹配方法融合圖像P'和R'的亮特征圖像，包括以下步驟：

S3.2.1分別利用高斯加權局部能量函數求得兩幅亮特征圖像的高斯加權局部能量，高斯加權局部能量函數如公式(16)所示：

式中，代表以點(m,n)為中心的高斯加權局部能量；w(i,j)為高斯濾波矩陣；N為區域的大小；t＝(N-1)/2；k代表P'或R'；

利用公式(16)分別求得亮特征圖像L_P'的高斯加權局部能量和亮特征圖像L_R'的高斯加權局部能量

S3.2.2、求解圖像L_P'和圖像L_R'的高斯加權局部能量的匹配度；

圖像L_P'和圖像L_R'的高斯加權局部能量的匹配度為：

S3.2.3、利用高斯加權局部能量和高斯加權局部能量匹配度融合圖像L_P'和L_R'，獲得亮特征圖像融合結果F_L；

圖像L_P'和L_R'的融合規則為：

其中，

式中，T_l為亮度特征融合相似性判斷的閾值，取值為0～0.5；若是M_E(m,n)＜T_l，則兩幅圖像L_P'和L_R'以點(m,n)為中心的區域不相似，兩幅圖像L_P'和L_R'的融合結果選取高斯加權區域能量大者；否者，兩幅圖像L_P'和L_R'的融合結果為系數加權平均；

所述步驟S3.2中采用基于局部區域加權方差特征的匹配方法融合圖像P'和R'的暗特征圖像，包括以下步驟：

S3.2.4、分別利用局部區域加權方差能量函數求得兩幅暗特征圖像的高斯加權局部能量；局部區域的加權方差能量函數如公式(20)所示：

式中，代表以點(m,n)為中心的局部區域加權方差能量；w(i,j)為高斯濾波矩陣；N為區域的大小；t＝(N-1)/2；代表以點(m,n)為中心的局部區域平均值；k代表P'或R'；

利用公式(20)分別求得暗特征圖像D_P'的局部區域加權方差能量和暗特征圖像D_R'的局部區域加權方差能量

S3.2.5、求解兩幅圖像D_P'和D_R'的局部區域加權方差能量的匹配度；

圖像D_P'和圖像D_R'的局部區域加權方差能量的匹配度利用公式(21)求得：

S3.2.6、利用局部區域加權方差能量和局部區域加權方差能量匹配度融合圖像兩幅圖像D_P'和D_R'，獲得暗特征圖像的融合結果F_D；

兩幅圖像D_P'和D_R'的融合公式為：

其中，

式中，T_h為暗度特征融合相似性判斷的閾值，取值為0.5～1；若M_E(m,n)＜T_h，則兩幅圖像D_P'和D_R'以點(m,n)為中心的區域不相似，兩幅圖像D_P'和D_R'的融合結果選取局部區域加權方差能量大者；否者，兩幅圖像D_P'和D_R'的融合結果為系數加權平均；

所述步驟S3.2中利用模糊邏輯和特征差異驅動融合圖像P'和R'的細節特征圖像，包括以下步驟：

S3.2.7、求得圖像P'的細節特征圖像P_P'和圖像R'的細節特征圖像P_R'的局部梯度；

求解局部梯度的公式為：

式中，代表像素點(m,n)處的局部梯度；k代表P'或R'；分別代表利用Sobel算子的水平和垂直模板與細節特征圖像卷積獲得的水平和垂直邊緣圖像；

利用公式(24)獲得細節特征圖像P_P'的局部梯度和細節特征圖像P_R'的局部梯度

S3.2.8、求得細節特征圖像P_P'和P_R'的局部加權方差；

局部加權方差如公式(25)所示：

式中，代表以點(m,n)為中心的局部區域加權方差能量；w(i,j)為高斯濾波矩陣；N為區域的大小；t＝(N-1)/2；代表以點(m,n)為中心的局部區域平均值；k代表P'或R'；

利用公式(25)獲得細節特征圖像P_P'的局部加權方差和細節特征圖像P_R'的局部梯度

S3.2.9、求得兩幅細節特征圖像的局部梯度匹配度、局部加權方差匹配度、局部差異梯度和局部差異方差：

局部梯度匹配度：

局部加權方差匹配度：

局部差異梯度：

局部差異方差：

S3.2.10、根據局部差異梯度ΔT(m,n)和局部差異方差ΔV(m,n)獲得基于像素的決策圖PDG(m,n)，并且根據局部梯度匹配度M_T(m,n)和局部加權方差匹配度M_V1(m,n)獲得特征差異程度決策圖DDG，包括以下步驟：

(1)根據局部差異梯度ΔT(m,n)和局部差異方差ΔV(m,n)獲得基于像素的決策圖PDG(m,n)：當ΔT(m,n)＞0,ΔV(m,n)＞0時，令PDG(m,n)＝p₁；當ΔT(m,n)＜0,ΔV(m,n)＜0時，PDG(m,n)＝p₂；當ΔT(m,n)＞0,ΔV(m,n)＜0時，PDG(m,n)＝p₃；當ΔT(m,n)＜0,ΔV(m,n)＞0時,令PDG(m,n)＝p₄；當ΔT(m,n)＝0,ΔV(m,n)＞0時，令PDG(m,n)＝p₅；當ΔT(m,n)＝0,ΔV(m,n)＜0時，令PDG＝p₆；當ΔT(m,n)＞0,ΔV(m,n)＝0,令PDG(m,n)＝p₇；當ΔT(m,n)＜0,ΔV(m,n)＝0時，令PDG(m,n)＝p₈；當ΔT(m,n)＝0,ΔV(m,n)＝0時，令PDG(m,n)＝p₉；其中p₁～p₉表示滿足上述條件時像素位置為1，其他像素位置為0的決策圖；

(2)根據局部梯度匹配度M_T(m,n)和局部加權方差匹配度M_V(m,n)可獲得特征差異程度決策圖DDG，如公式(30)所示：

式中，d₁和d₂表示滿足公式(30)對應的像素位置為1，其他像素位置為0的決策圖；

S3.2.11、根據基于像素的決策圖PDG(m,n)和特征差異程度決策圖DDG判定確定區域和不確定區域：

S3.2.12、利用特征差異驅動融合兩幅細節特征圖像的確定區域；

以局部差異梯度ΔT(m,n)和局部差異方差ΔV(m,n)的乘積作為確定區域融合驅動因素，記為DIF(m,n)，如公式(31)所示：

DIF(m,n)＝ΔT(m,n)·ΔV(m,n) (31)

則利用DIF(m,n)驅動融合確定區域，得到的確定區域融合后的圖像為為：

式中，“·*”代表矩陣中對應像素位置處值的乘積；

S3.2.13、利用模糊邏輯理論融合兩幅細節特征圖像的不確定區域；

假設“細節特征圖像P_P'和P_R'的局部梯度是大的”這個條件成立，則隸屬函數分別為μ_T(P_p'(m,n))和μ_T(P_R'(m,n))，假設“細節特征圖像P_P'和P_R'的局部加權方差是大的”這個條件成立，則隸屬函數分別為μ_V(P_P'(m,n))和μ_V(P_R'(m,n)),如公式(33)和(34)所示：

式中，k代表P'或R'；

利用模糊邏輯的交運算規則可分別計算兩幅細節特征圖像P_P'和P_R'在位置(m,n)處的像素值對不確定區域融合圖像重要程度的隸屬函數，分別記為μ_T∩V(P_P'(m,n))和μ_T∩V(P_R'(m,n))，如公式(35)所示：

μ_T∩V(P_k(m,n))＝min[μ_T(P_k(m,n)),μ_V(P_k(m,n))] (35)

式中，k代表P'或R'；

則，兩幅圖像細節特征圖像不確定區域的融合結果為：

式中，“·*”代表矩陣中對應像素位置處值的乘積，“·/”代表矩陣中對應像素位置處值的相除；

S3.2.14、融合和得到兩幅細節特征圖像的融合結果為F_DIF(m,n)，并對F_DIF(m,n)進行一致性校驗；

對F_DIF(m,n)進行一致性校驗，使用大小3×3的窗口在圖像F_DIF(m,n)上移動，用窗口周圍的像素來驗證中心像素；

所述步驟S4中利用步驟S3的融合結果和總強度圖像I在YUV空間進行融合的方法為：

將總強度圖像I輸入YUV空間的Y通道，再將步驟S3的融合結果求反獲得圖像F'，即F'＝255-F，再將F'輸入到U通道，最后將步驟S3的融合結果F輸入到V通道，得到最后的融合圖像。

2.如權利要求1所述的基于YUV和多特征分離的紅外偏振圖像的融合方法，其特征在于，所述步驟S3.3中融合步驟S3.2中的亮特征圖像、暗特征圖像和細節特征圖像的結果是融合包含亮特征的圖像F_L(m,n)、暗特征的圖像F_D(m,n)和細節特征的圖像F_DIF(m,n)，融合公式如公式(38)所示：

F＝αF_L(m,n)+βF_D(m,n)+γF_DIF(m,n) (38)

式中，α、β和γ為融合權重系數，α取值為1，β取值為0.3，γ取值為1，以滿足較少融合圖像的過飽和并提高對比度。