[發明專利]一種基于光場圖像的高光區域修復方法

有效

• 申請號: 201710170590.6
• 申請日: 2017-03-21
• 公開（公告）號: CN107103589B
• 公開（公告）日: 2019-09-06
• 發明（設計）人: 王好謙;許晨雪;王興政;方璐;張永兵;戴瓊海
• 申請（專利權）人: 深圳市未來媒體技術研究院;清華大學深圳研究生院
• 主分類號: G06T5/00
• 分類號: G06T5/00
• 代理公司: 深圳新創友知識產權代理有限公司 44223
• 代理人: 王震宇

1.一種基于多視點的高光圖像修復方法，其特征在于，所述方法包括：

A1：獲取四維光場圖像以及對應的深度圖像；

A2：從四維光場圖像提取中心視點圖像，初步確定高光目標點的空間域坐標，依照輸入的深度圖像對四維光場圖像進行重聚焦，獲取高光目標點的角度域特性并劃分成飽和高光點與非飽和高光點；其中，對高光點進行檢測和分類，針對中心視點圖像，采用亮度閾值設定的方法，找出中心視點下高光目標點的空間域坐標，結合深度圖像對光場圖像進行重聚焦，找到高光目標點在各個視點下的對應像素，作為該點的像素集合，計算集合內像素RGB值的方差，若方差小于某一設定閾值，則將該點劃分為飽和高光點；若方差大于該閾值，則將該點劃分為非飽和高光點；

A3：對一個視點或多個視點的圖像進行本征圖像分解，得到圖像本征反射屬性，找到高光目標點對應的本征反射信息；

A4：對非飽和高光點利用多視點下的局部區域特性分離出漫反射分量，結合步驟A3確定的本征反射信息，對非飽和高光點進行修復；

A5：對飽和高光點，利用臨近像素點的漫反射分量進行傳播，結合步驟A3確定的本征反射信息，對飽和高光點進行修復。

2.如權利要求1所述的方法，其特征在于，步驟A1中，采用圖像深度估計方法或主動深度測量方法提取場景對應的深度圖像，采用四維光場的雙平面模型表示光場，光場圖像I＝I(x，y，u，v)，其中(u，v)表示光線的角度域坐標，(x，y)表示其空間域坐標。

3.如權利要求1所述的方法，其特征在于，步驟A3中，利用本征圖像分解的方法從某一視點或多個視點圖像中分離光照的影響，獲取相對穩定的本征反射屬性。

4.如權利要求3所述的方法，其特征在于，步驟A3中，本征圖像分解算法中添加全局紋理約束，利用不相鄰但具有相同紋理特性的像素恢復出高光區域的本征反射信息。

5.如權利要求1所述的方法，其特征在于，所述步驟A4中，使用原四維光場圖像對非飽和高光點修復后的光場圖像I_d(x，y，u，v)進行初始化，再利用多視點下局部區域特性分離的漫反射分量D_m和相應非飽和高光點的本征反射屬性D_i，將兩者按照設定的權重組合并修復非飽和高光點的漫反射信息，如下式：

I_d(x，y，u，v)＝w_mD_m(x，y，u，v)+w_iD_i(x，y，u，v)

其中(u，v)表示光線的角度域坐標，(x，y)表示非飽和高光點的空間域坐標，w_m和w_i為設定的權重。

6.如權利要求5所述的方法，其特征在于，所述步驟A4中，從多視點下局部區域特性分離漫反射分量，對每一非飽和高光點，利用非飽和高光點在不同視點下的像素集合按照聚類算法分為兩類，漫反射和鏡面反射結合類、僅含漫反射類，計算兩類類別中心M₁和M₂及置信度，利用置信度和鄰域窗口處理，從光場圖像中減去鏡面反射分量，得到漫反射分量D_m。

7.如權利要求1所述的方法，其特征在于，所述步驟A5中，使用非飽和高光點修復后的光場圖像對飽和高光點修復后的光場圖像I_r(x，y，u，v)進行初始化，對飽和高光點，利用鄰域漫反射分量的加權和D_n和相應飽和高光點的本征反射屬性D_i，將兩者按照設定的權值進行組合修復飽和高光點的顏色信息，如下式：

I_r(x，y，u，v)＝w_nD_n(x，y，u，v)+w_iD_i(x，y，u，v)

其中(u，v)表示光線的角度域坐標，(x，y)表示飽和高光點的空間域坐標，w_n和w_i為設定的權重，至此，非飽和高光點及飽和高光點的漫反射信息均得到修復，輸出高光修復后的光場圖像。