[發(fā)明專利]基于角度信息的4D光場全聚焦圖像獲取方法

在審

• 申請?zhí)枺?/td>: 202110030265.6
• 申請日: 2021-01-11
• 公開（公告）號: CN112686829A
• 公開（公告）日: 2021-04-20
• 發(fā)明（設計）人: 武迎春;趙志浩;李晉紅;趙賢凌;王安紅
• 申請（專利權）人: 太原科技大學
• 主分類號: G06T5/10
• 分類號: G06T5/10;G06T5/50;G06K9/32;G06K9/62
• 代理公司: 太原中正和專利代理事務所(普通合伙) 14116
• 代理人: 焦進宇

1.基于角度信息的4D光場全聚焦圖像獲取方法，其特征在于，按照以下步驟進行：

步驟1)對原始4D光場L(x,y,u,v)進行坐標變換，得到聚焦在不同深度處4D光場數(shù)據(jù)，用公式(1)表示：

其中表示坐標變換操作符；表示二重積分操作符，坐標變換和二重積分的操作符定義如下：

其中，[x,y,u,v]表示行向量，為坐標變換矩陣：

根據(jù)公式(2)，α_n取不同的值，對應相機聚焦不同的場景深度，記錄不同的4D光場數(shù)據(jù)，在不同成像深度處的4D光場可表示為：

公式(5)得到的4D數(shù)據(jù)很好的保留了光場的角度信息，下面對基于公式(5)得到的多組4D光場矩陣進行融合，以實現(xiàn)基于角度信息的光場全聚焦圖像計算，為了方便表述，下文將記為

步驟2)利用角度信息建立宏像素能量差異函數(shù)進行清晰度評價，完成4D光場數(shù)據(jù)融合：

設4D光場的空間分辨率為X×Y，角度分辨率為U×V，將4D光場數(shù)據(jù)進行可視化，4D光場矩陣L(x,y,u,v)與其對應的可視化2D圖像I(i,j)存在以下坐標映射關系：

本發(fā)明提出宏像素能量差異函數(shù)，對于每個宏像素(x,y)，其能量差異值可由下式計算：

其中，表示4D光場中宏像素(x,y)的中心視點的灰度值；

對步驟1)得到的聚焦深度不同的4D光場，選擇能量值最小的宏像素組成融合后的4D光場，基于公式(7)，遍歷4D光場的空間坐標(x,y)，可得不同4D光場的權重矩陣；

其中，[1]_U×V表示大小為U×V的單位矩陣；[0]_U×V表示大小為U×V的全零矩陣；N代表待融合4D光場矩陣的個數(shù)；min[·]表示取最小值操作；為利用光場角度信息獲得的宏像素能量差異值，利用作為清晰度度量指標，其值越小清晰度越高；

將待融合的4D光場矩陣與其對應的權重矩陣加權平均即得融合后4D光場，如下式：

步驟3)利用升維后的中心子孔徑圖像對融合的4D光場進行引導濾波優(yōu)化，最后對優(yōu)化的4D光場數(shù)據(jù)進行二重積分得到全聚焦圖像；

由所有宏像素的中心點組成的中心子孔徑圖像可作為引導圖像，其計算方式如下：

I_c(x,y)＝L(x,y,u,v)|_{u＝(U+1)/2,v＝(V+1)/2} 公式(10)

由于作為引導圖的中心子孔徑圖像與輸入的4D光場尺寸不一致，在濾波操作前利用最近鄰插值法對中心子孔徑圖像進行升維：

L_c(x,y,u,v)|_{u＝[1～U],v＝[1～V]}＝I_c(x,y) 公式(11)

通過公式(10)，將中心子孔徑圖像中的每個像素點傳播為一個U×V的塊，形成一個宏像素，從而得到4D濾波矩陣L_c(x,y,u,v)；

對融合后4D光場的引導濾波如下式：

其中，O表示優(yōu)化后的4D光場I為升維的中心子孔徑圖像L_c(x,y,u,v)，a_k、b_k為線性系數(shù)，其值由輸入的4D光場以及L_c(x,y,u,v)決定，ω_k為以像素k為中心的引導濾波窗口，窗口中包含像素i；

最后，對優(yōu)化的4D光場沿(u,v)方向做二重積分，得到最終的全聚焦圖像：