[發(fā)明專利]一種基于光場(chǎng)圖像的高光區(qū)域修復(fù)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201710170590.6
• 申請(qǐng)日: 2017-03-21
• 公開（公告）號(hào): CN107103589B
• 公開（公告）日: 2019-09-06
• 發(fā)明（設(shè)計(jì)）人: 王好謙;許晨雪;王興政;方璐;張永兵;戴瓊海
• 申請(qǐng)（專利權(quán)）人: 深圳市未來(lái)媒體技術(shù)研究院;清華大學(xué)深圳研究生院
• 主分類號(hào): G06T5/00
• 分類號(hào): G06T5/00
• 代理公司: 深圳新創(chuàng)友知識(shí)產(chǎn)權(quán)代理有限公司 44223
• 代理人: 王震宇

一種基于光場(chǎng)圖像的高光區(qū)域修復(fù)方法，包括：獲取四維光場(chǎng)圖像以及對(duì)應(yīng)的深度圖像；從四維光場(chǎng)圖像提取中心視點(diǎn)圖像，初步確定高光目標(biāo)點(diǎn)的空間域坐標(biāo)，依照輸入的深度圖像對(duì)四維光場(chǎng)圖像進(jìn)行重聚焦，獲取高光目標(biāo)點(diǎn)的角度域特性并劃分成飽和高光點(diǎn)與非飽和高光點(diǎn)；對(duì)一個(gè)視點(diǎn)或多個(gè)視點(diǎn)的圖像進(jìn)行本征圖像分解，得到圖像本征反射屬性，找到高光目標(biāo)點(diǎn)對(duì)應(yīng)的本征反射信息；對(duì)非飽和高光點(diǎn)，利用多視點(diǎn)下的局部區(qū)域特性分離出漫反射分量，結(jié)合步驟A3確定的本征反射信息，對(duì)非飽和高光點(diǎn)進(jìn)行修復(fù)；A5：對(duì)飽和高光點(diǎn)，利用臨近像素點(diǎn)的漫反射分量進(jìn)行傳播，結(jié)合步驟A3確定的本征反射信息，對(duì)飽和高光點(diǎn)進(jìn)行修復(fù)。利用本發(fā)明能夠提高含有高光表面的圖像的質(zhì)量。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)視覺(jué)與數(shù)字圖像處理領(lǐng)域，特別是涉及一種基于光場(chǎng)圖像的高光區(qū)域修復(fù)方法。

背景技術(shù)

高光，也稱鏡面反射。在計(jì)算機(jī)視覺(jué)和模式識(shí)別領(lǐng)域，圖像的高光給許多應(yīng)用的實(shí)現(xiàn)效果帶來(lái)困難與挑戰(zhàn)。高光其實(shí)是現(xiàn)實(shí)場(chǎng)景中一種非常常見(jiàn)的現(xiàn)象，它是光照在不同視角下的變化引起物體表面顏色、亮度的變化，反映了物體表面的光學(xué)反射特征。在數(shù)字圖像中，高光像素往往具有高亮度，因而遮蓋了物體表面的顏色、輪廓、紋理，飽和的高光更是直接導(dǎo)致了局部區(qū)域信息的丟失，故高光通常被認(rèn)為是圖像的瑕疵。目前，在計(jì)算機(jī)視覺(jué)、計(jì)算機(jī)圖像學(xué)和模式識(shí)別領(lǐng)域的很多算法都假設(shè)物體表面僅含有漫反射，忽略高光的存在或?qū)⒏吖猱?dāng)做噪聲或異常處理。例如圖像分割，這類算法通常假定物體表面亮度變化均勻或平滑；而立體視點(diǎn)匹配、物體識(shí)別和跟蹤算法試圖對(duì)不同條件下拍攝的具有相同或相似場(chǎng)景的圖像進(jìn)行像素匹配，因此他們所需的物體表面要在不同拍攝條件下顏色、亮度盡可能一致。因此，使用這些算法處理含有高光反射的圖像可能會(huì)導(dǎo)致顯著的錯(cuò)誤。然而，現(xiàn)實(shí)世界中的絕大多數(shù)物體表面都包含漫反射和高光反射。為了從數(shù)字圖像中準(zhǔn)確提取物體的顏色、輪廓、紋理信息，保證圖像能夠應(yīng)用于傳統(tǒng)的計(jì)算機(jī)視覺(jué)、模式識(shí)別等算法，準(zhǔn)確地檢測(cè)出高光并恢復(fù)出高光掩蓋下的原始圖像信息至關(guān)重要。

近年來(lái)，隨著計(jì)算攝像學(xué)和光場(chǎng)成像技術(shù)的發(fā)展，一系列光場(chǎng)采集系統(tǒng)(相機(jī)陣列、移動(dòng)相機(jī)、光場(chǎng)相機(jī))應(yīng)運(yùn)而生，為計(jì)算機(jī)視覺(jué)和圖像處理中的很多應(yīng)用提供了新的解決方案。由于傳統(tǒng)相機(jī)拍照時(shí)只記錄一個(gè)視點(diǎn)的信息，只能聚焦到一個(gè)深度，因而場(chǎng)景的大部分光線信息丟失。光場(chǎng)相機(jī)在傳感器前加入了一個(gè)微透鏡陣列，能夠在單次曝光的同時(shí)記錄到達(dá)成像平面任意光線的角度與位置，完全刻畫四維光場(chǎng)。由于光場(chǎng)圖像攜帶了空間、角度共四維光場(chǎng)信息，人們可在后續(xù)處理中變換視點(diǎn)和數(shù)字重聚焦；而高光反射的特點(diǎn)正是光照在不同視角下引起物體表面顏色、亮度的變化。因此，利用光場(chǎng)成像技術(shù)記錄了豐富光線信息的優(yōu)勢(shì)，將對(duì)高光區(qū)域的復(fù)原問(wèn)題帶來(lái)有效的幫助。

發(fā)明內(nèi)容

本發(fā)明的主要目的在于針對(duì)現(xiàn)有技術(shù)的不足，提供。

為實(shí)現(xiàn)上述目的，本發(fā)明采用以下技術(shù)方案：

一種基于多視點(diǎn)的高光圖像修復(fù)方法，其特征在于，所述方法包括：

A1：獲取四維光場(chǎng)圖像以及對(duì)應(yīng)的深度圖像；

A2：從四維光場(chǎng)圖像提取中心視點(diǎn)圖像，初步確定高光目標(biāo)點(diǎn)的空間域坐標(biāo)，依照輸入的深度圖像對(duì)四維光場(chǎng)圖像進(jìn)行重聚焦，獲取高光目標(biāo)點(diǎn)的角度域特性并劃分成飽和高光點(diǎn)與非飽和高光點(diǎn)；

A3：對(duì)一個(gè)視點(diǎn)或多個(gè)視點(diǎn)的圖像進(jìn)行本征圖像分解，得到圖像本征反射屬性，找到高光目標(biāo)點(diǎn)對(duì)應(yīng)的本征反射信息；

A4：對(duì)非飽和高光點(diǎn)利用多視點(diǎn)下的局部區(qū)域特性分離出漫反射分量，結(jié)合步驟A3確定的本征反射信息，對(duì)非飽和高光點(diǎn)進(jìn)行修復(fù)；

A5：對(duì)飽和高光點(diǎn)，利用臨近像素點(diǎn)的漫反射分量進(jìn)行傳播，結(jié)合步驟A3確定的本征反射信息，對(duì)飽和高光點(diǎn)進(jìn)行修復(fù)。

進(jìn)一步地：