[發(fā)明專利]偽像減少的自適應(yīng)內(nèi)插

有效

• 申請(qǐng)?zhí)枺?/td>: 200980131128.9
• 申請(qǐng)日: 2009-05-08
• 公開(kāi)（公告）號(hào): CN102113330A
• 公開(kāi)（公告）日: 2011-06-29
• 發(fā)明（設(shè)計(jì)）人: H·S·瑪爾瓦
• 申請(qǐng)（專利權(quán)）人: 微軟公司
• 主分類號(hào): H04N9/07
• 分類號(hào): H04N9/07
• 代理公司: 上海專利商標(biāo)事務(wù)所有限公司 31100
• 代理人: 黃嵩泉;潘明婳

背景

由于數(shù)碼相機(jī)成本下降，它們的普及性穩(wěn)步增長(zhǎng)，普通消費(fèi)者均能消費(fèi)得起。為了保持低成本，許多彩色數(shù)碼相機(jī)是單傳感器的數(shù)碼相機(jī)，其中僅使用一個(gè)圖像傳感器來(lái)捕捉彩色圖像中每個(gè)圖片元素(像素)的色彩信息。單傳感器的數(shù)碼相機(jī)中的每個(gè)圖像傳感元件通常是電荷耦合器件(CCD)或互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)芯片，它是表示彩色圖像的各像素的傳感器陣列的一部分。考慮到疊加在傳感器上的色彩濾波器陣列，每個(gè)傳感元件僅能產(chǎn)生關(guān)于給定像素處的單個(gè)色彩的信息。然而，彩色圖像通過(guò)組合三個(gè)分開(kāi)的單色圖像來(lái)表示。為了顯示一彩色圖像，每個(gè)像素處需要全部的紅色、藍(lán)色和綠色(RGB)色彩值。在理想的(且昂貴的)照相機(jī)系統(tǒng)中，向傳感器陣列中的每個(gè)像素提供三個(gè)圖像傳感器，每個(gè)傳感器各自測(cè)量紅色、綠色或藍(lán)色的像素色彩。然而，在單傳感器數(shù)碼相機(jī)中，在一個(gè)給定像素處僅能確定單個(gè)紅色、綠色或藍(lán)色色彩值。為了獲得另外兩個(gè)缺失的色彩，必須使用一種技術(shù)根據(jù)圖像的周圍像素估計(jì)或內(nèi)插缺失的色彩。對(duì)于每個(gè)CCD或CMOS像素，僅捕捉一個(gè)色彩，R、G或B中的任一個(gè)。因此，有必要對(duì)數(shù)據(jù)進(jìn)行內(nèi)插以便在每個(gè)像素處產(chǎn)生另外兩個(gè)色彩。例如，圖1中用“x”標(biāo)記的像素是“紅色像素”，也就是說(shuō)，在該位置處，相應(yīng)的圖像傳感元件僅產(chǎn)生了紅色色彩值。為了獲得該像素的綠色(G)和藍(lán)色(B)值，需要對(duì)可從相鄰像素獲得的綠色和藍(lán)色數(shù)據(jù)進(jìn)行內(nèi)插。例如，為了獲得圖1中“x”像素102的綠色值，可以基于標(biāo)記為“o”的綠色像素值來(lái)進(jìn)行雙線性內(nèi)插。

如上所述地估計(jì)或內(nèi)插缺失色彩的過(guò)程稱為“去鑲嵌”。術(shù)語(yǔ)“去鑲嵌”源自于：色彩濾波器陣列(CFA)在圖像傳感器前面使用，而CFA以鑲嵌圖案排列。該鑲嵌圖案對(duì)于圖像中的每個(gè)像素僅有一個(gè)色彩值。為了獲得全色彩圖像，鑲嵌圖案必須被“去鑲嵌”。因此，去鑲嵌是從用鑲嵌圖案CFA捕捉的圖像內(nèi)插回，使得全RGB值可以與每一像素相關(guān)聯(lián)的技術(shù)。更具體地說(shuō)，單傳感器數(shù)碼照相機(jī)使用在光路中位于CFA之后的圖像傳感器陣列來(lái)捕捉圖像。一種非常常見(jiàn)的鑲嵌CFA被稱為拜耳(Bayer)鑲嵌圖案。拜耳(Bayer)鑲嵌圖案(即拜耳濾波器100)在圖1中示出。(在該圖中，有“R”的方框104表示紅色像素，有“G”的方框106表示綠色像素，有“B”的方框108表示藍(lán)色像素。標(biāo)記為“0”110的方框也是綠色像素，標(biāo)記為“X”112的方框也是紅色像素。)對(duì)于每一2x2的像素組，兩個(gè)對(duì)角相對(duì)的像素具有綠色濾波器，而另外兩個(gè)像素具有紅色和藍(lán)色濾波器。由于綠色(G)帶有對(duì)于人類來(lái)說(shuō)最多的亮度信息，因此它的采樣率是紅色(R)和藍(lán)色(B)的兩倍。

概述

發(fā)明內(nèi)容以簡(jiǎn)單形式介紹了下面會(huì)在詳細(xì)描述中描述的概念的選擇。發(fā)明內(nèi)容并不意圖標(biāo)識(shí)所要求保護(hù)的主題的關(guān)鍵特征或基本特征，也并不用于限制所要求保護(hù)的主題的范圍。

這里所述的偽像減少的自適應(yīng)內(nèi)插技術(shù)從由單CCD(或CMOS)數(shù)碼相機(jī)創(chuàng)建的原始圖片(例如拜耳鑲嵌的單色圖像)中產(chǎn)生具有全色彩RGB(紅色、綠色、藍(lán)色)信息的數(shù)字圖片。該技術(shù)使用一組線性濾波器高效地執(zhí)行高質(zhì)量的去鑲嵌。這些濾波器的系數(shù)與統(tǒng)計(jì)最優(yōu)的Wiener濾波器近似，并允許快速實(shí)現(xiàn)，即優(yōu)選地不使用乘法運(yùn)算，僅僅使用加法和移位(盡管在處理硬件支持快速乘法時(shí)可以使用乘法)。

該技術(shù)采用了改進(jìn)的標(biāo)準(zhǔn)來(lái)選擇內(nèi)插標(biāo)準(zhǔn)，考慮了輸出內(nèi)插值。它采用對(duì)濾波系數(shù)的小改變，得到更好的結(jié)果并且適應(yīng)“糾正衰減”。在一個(gè)實(shí)施例中，該技術(shù)進(jìn)一步采用了“糾正衰減”步驟，減少了對(duì)于特定種類的對(duì)角邊緣的“色彩噴灑(sprinkling)”偽像。相對(duì)于其他較佳的執(zhí)行算法所需的多遍(在一些情況下超過(guò)十遍)來(lái)說(shuō)，該技術(shù)僅僅對(duì)圖像過(guò)一遍，該遍中內(nèi)插了全部的色彩。

在一個(gè)實(shí)施例中，遵循常規(guī)的光柵掃描次序(從左至右從上至下)，對(duì)于每個(gè)像素位置，偽像減少的自適應(yīng)內(nèi)插技術(shù)首先確定水平和垂直梯度(它們的計(jì)算取決于該像素的可用色彩)。它還為每一個(gè)水平方向和垂直方向計(jì)算一活動(dòng)度量，該活動(dòng)度量考慮了候選的輸出內(nèi)插像素值。該技術(shù)基于水平和垂直梯度值以及水平和垂直活動(dòng)度量，從三個(gè)選項(xiàng)之一中選擇最佳的內(nèi)插方向：水平、垂直或不定向。在不定向?yàn)V波器的情況下，輸出值中有較高的風(fēng)險(xiǎn)存在偽像(特別是“色彩噴灑”類型，其中像素與其直接鄰居有顯著不同的色彩)。在一個(gè)實(shí)施例中，在該情況下，該技術(shù)應(yīng)用了一個(gè)附加步驟，用于對(duì)造成內(nèi)插輸出中的高頻分量的項(xiàng)進(jìn)行衰減。

在本發(fā)明實(shí)施例的以下描述中，對(duì)作為本發(fā)明一部分的附圖進(jìn)行參考，其中示出了能實(shí)現(xiàn)本發(fā)明技術(shù)的具體實(shí)施例。可以理解，可以使用其他實(shí)施例，并且可以做出結(jié)構(gòu)上的變化，而不背離本發(fā)明的范圍。