[發明專利]一種基于深度信息提取的多聚焦圖像融合方法

有效

• 申請號: 201410298036.2
• 申請日: 2014-06-26
• 公開（公告）號: CN104036481B
• 公開（公告）日: 2017-02-15
• 發明（設計）人: 肖進勝;錢超;鄒白昱;洪羽萌;涂超平;杜康華;鄢煜塵
• 申請（專利權）人: 武漢大學
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T3/40;G06T7/00
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙)42222
• 代理人: 魯力

1.一種基于深度信息提取的多聚焦圖像融合方法，其特征在于，包括以下步驟：

步驟1：采集一組多聚焦圖像，該多聚焦圖像是同一場景下分別聚焦于前景、背景的一組多聚焦圖像；

步驟2：利用各向異性熱擴散理論建模多聚焦圖像的成像過程，獲取步驟1中采集的原始的多聚焦圖像的深度信息，該深度信息的提取基于帶有正則化項的能量泛函極值求取，并通過迭代獲得場景的深度信息；包括以下子步驟：

步驟2.1：獲取拍攝多聚焦圖像的相機的標定參數，并設定閾值ε，虛擬時間Δt，正則化參數α，步長β以及迭代次數Nit；相機的標定參數包括焦距f，象距v1和v2，鏡頭孔徑D，相機參數γ；

步驟2.2：初始化深度信息此時圖像中每個點的初始深度值均為此值；其中y是圖像二維坐標；

步驟2.3：依據深度信息，計算相應的擴散系數c(y)和擴散區域Ω+、Ω-；

c(y)=γ2D28Δt(v22(1f-1v2-1s(y))2-v12(1f-1v1-1s(y))2)]]>?????????式2.1

步驟2.4：利用步驟2.3中獲得的參數模擬如下的兩個圖像前向熱擴散方程；

∂u(y,t)∂t=▿·(c(y)▿u(y,t)),y∈Ω+t∈(0,∞)u(y,0)=I1(y),∀(y)∈Ω+]]>??????????式2.2

∂u(y,t)∂t=▿·(c(y)▿u(y,t)),y∈Ω-t∈(0,∞)u(y,0)=I2(y),∀(y)∈Ω-]]>????????式2.3

式中，I₁(y)是輸入圖像A，I₂(y)是輸入圖像B，擴散系數c(y)=σ22(y)-σ12(y)2t,]]>▽是梯度算子∂u∂y1∂u∂y2T,]]>▽.是散度算子

步驟2.5：分別求解步驟2.4中的熱擴散方程式2.2和式2.3，得到各自經過Δt的熱擴散圖像u₁(y,Δt)，u₂(y,Δt)，然后用來模擬如下熱擴散拋物線方程；

∂w1(y,t)∂t=▿·(c(y)▿w1(y,t))t∈(0,∞)w1(y,0)=u1(y,Δt)-I2(y)∀y∈∂Ω+]]>?????????式2.4

∂w2(y,t)∂t=▿·(-c(y)▿w2(y,t))t∈(0,∞)w2(y,0)=u2(y,Δt)-I1(y)∀y∈∂Ω-]]>?????????式2.5

步驟2.6：由于步驟2.4圖像前向熱擴散方程得到解不唯一，導致w₁(y,Δt)和w₂(y,Δt)不唯一，為了得到使w₁(y,Δt)和w₂(y,Δt)最小的熱擴散方程的解，因此采用約束條件：

s^=argmins(E1(s)+E2(s))]]>?????????????式2.6

式中：

E₁(s)＝∫H(c(y))|u(y,Δt)-I₂(y)|²dy??????????式2.7

E₂(s)＝∫H(-c(y))|u(y,Δt)-I₁(y)|²dy???????式2.8

得到步驟2.5中的方程的唯一解：w₁(y,Δt)和w₂(y,Δt)；

步驟2.7，對式2.6求梯度有：

∂s∂τ=-M(s)(E1′(s)+E2′(s))]]>????????????式2.9

在式2.9中，

E1′(s)=(-2H(c(y))∫0Δt▿u(y,t)·▿w1(y,Δt-t)dt+δ(c(y))(u1(y,Δt)-I2(y))2)·c′(s)]]>????式2.10

E2′(s)=(2H(-c(y))∫0Δt▿u(y,t)·▿w2(y,Δt-t)dt+δ(c(y))(u2(y,Δt)-I1(y))2)·c′(s)]]>???式2.11

上述各式中，H(·)表示Heaviside函數(單位階躍函數)，δ(·)表示Dirac函數(單位沖激函數).u₁(y,Δt)和u₂(y,Δt)是求解步驟2.6的方程得到的，w₁(y,Δt)和w₂(y,Δt)是求解步驟2.6的方程得到的，c'(s)是熱擴散系數的梯度值，由式2.1計算得到為：

c′(s)=γ2D2(v2-v1)4s2Δt[(v1+v2)·(1F-1s)-1]]]>???????????式2.12

M(s)的計算公式如下：

M(s)=12[H(c(y))·I2(y)·u1′(y,Δt)+H(-c(y))·I1(y)·u2′(y,Δt)]]]>?????式2.13

步驟2.8：將計算式2.9得到的結果記作然后與事先設定的閾值比較；

比較結果一：若data_reg≤ε，則該點的深度估計較準，無需修正；

比較結果二：若data_reg>ε，則該點的深度值估計不準，需要進行深度值的修正；

步驟2.9：對步驟2.8中需要修正的深度值進行一定時間步長β的修正，即對深度修正1/β次，并更新深度圖；其修正公式如下：

E′₃(s)＝-2αΔs(y)+2ακs(y)???????????????式2.14

因此加上步驟2.8中計算出來的data_reg可以得到單位步長內修正后的深度s'(y)：

s'(y)＝s(y)-(data_reg+2ακs(y)-2αΔs(y))??????????????2.15

將深度值s(y)迭代基于式2.15執行1/β次，得到最終修正后的深度值；

步驟2.10：將每個點得到的修正后的深度值作為更新的深度值返回步驟2.3替換上一次深度值繼續執行，直至迭代次數Nit后結束；

步驟3：根據深度信息確定聚焦區域，得到多聚焦圖像融合模板，具體是根據提取出的深度用256個等級的灰度圖表示，規定灰度值越小，即圖像越暗，表示離拍攝者越近，給定閾值分割深度圖來確定聚焦區域；

步驟4：根據平滑的多層次融合模板進行多聚焦圖像的融合。