[發(fā)明專利]超級分辨率數(shù)字變焦

無效

• 申請?zhí)枺?/td>: 200910139503.6
• 申請日: 2009-06-30
• 公開（公告）號: CN101621622A
• 公開（公告）日: 2010-01-06
• 發(fā)明（設計）人: 尼考勞斯·喬治斯;費瑞德瑞克·卡皮奧;保羅·金·黃
• 申請（專利權(quán)）人: 索尼株式會社;索尼電子有限公司
• 主分類號: H04N5/232
• 分類號: H04N5/232;H04M1/725;G06F1/16
• 代理公司: 北京東方億思知識產(chǎn)權(quán)代理有限責任公司
• 代理人: 宋 鶴;南 霆

技術領域

本發(fā)明一般涉及在無光學變焦能力的相機中在數(shù)字變焦期間改善圖像質(zhì)量。

背景技術

相機中的光學變焦需要鏡頭的平移來放大圖像。在諸如無線電話和個人數(shù)字助理(PDA)中通常包括的相機之類的能力不太強的相機中，鏡頭不移動。為了提供類似于變焦的功能，使用數(shù)字變焦，在數(shù)字變焦中，例如，將圖像的一部分剪掉，并簡單地將其余圖像放大以填充圖像畫面。如這里所了解的，雖然數(shù)字變焦模仿了光學變焦所產(chǎn)生的放大，但與光學變焦相比，其降低了圖像質(zhì)量。

發(fā)明內(nèi)容

一種方法包括接收用戶對相機中的數(shù)字變焦的選擇，并作為響應而自動生成多個圖像。這些圖像被數(shù)字變焦并然后疊加，以對用戶透明地產(chǎn)生改善的數(shù)字變焦圖像。

可以利用超級分辨率技術來進行疊加。相機可被并入到無線電話、個人數(shù)字助理(PDA)或其它不具有光學變焦能力的設備中。如果需要，則在對圖像進行變焦之前，可以去除各個圖像的一部分以產(chǎn)生相應的裁剪后圖像，并且裁剪后圖像被數(shù)字變焦。

在另一方面中，一種裝置包括成像器、與成像器通信以從成像器接收信號的處理器以及計算機可讀介質(zhì)，該計算機可讀介質(zhì)可被處理器訪問并載有指令。這些指令使得處理器響應于預定用戶命令而自動生成至少兩個圖像，并對各個圖像進行數(shù)字變焦以產(chǎn)生相應的變焦后圖像。這些指令還使得處理器將變焦后圖像彼此疊加以產(chǎn)生經(jīng)修改的變焦后圖像。

在另一方面中，一種裝置包括成像器、顯示器以及處理器，該處理器被配置為在顯示器上呈現(xiàn)經(jīng)修改的數(shù)字變焦圖像，該經(jīng)修改的數(shù)字變焦圖像包括至少兩個所疊加的圖像。

附圖說明

參考附圖可最好地理解關于本發(fā)明的結(jié)構(gòu)和操作二者的細節(jié)，在附圖中，相似的標號指相似的部件，并且其中：

圖1是示出可結(jié)合本發(fā)明原理的非限制性設備的透視圖，其中示意性地示出一些組件；以及

圖2是根據(jù)本發(fā)明原理的非限制性邏輯的流程圖。

具體實施方式

首先參考圖1，示出了一種裝置(總地標為10)，該裝置可包括諸如電荷耦合器件(CCD)之類的成像器12和接收來自成像器12的圖像信號的處理器14。處理器14可以訪問計算機可讀存儲介質(zhì)16，計算機可讀存儲介質(zhì)16例如是但不限于可移動或不可移動的固態(tài)存儲器、盤存儲器等。圖2的邏輯可被實現(xiàn)為介質(zhì)16上的計算機指令，這些指令可被處理器14執(zhí)行，以根據(jù)以下給出的原理在顯示器18上呈現(xiàn)數(shù)字變焦后的圖像。

裝置10可被實現(xiàn)為無線電話、個人數(shù)字助理(PDA)或其它具有便攜式殼體20的便攜式設備，其中在一個實施例中，顯示器18可被樞轉(zhuǎn)地耦合到基底22。基底22可載有諸如電話鍵區(qū)(keypad)之類的輸入裝置24以及一個或多個控制器(control)26，輸入裝置24和控制器26者在被操作時可以生成輸入信號至處理器14。可以被輸入的用戶命令之一是“數(shù)字變焦”命令。裝置10可能沒有光學變焦能力。無線電話接收器28也可并入在裝置10中。

現(xiàn)在參考圖2，在框30，接收來自用戶的預定命令，例如數(shù)字變焦命令。該命令例如可以通過操作控制器26來生成。作為響應，在框32，來自成像器12的多個圖像在接下來的短時間中(例如，在接收到命令的幾秒內(nèi))被自動捕獲。這一操作自動發(fā)生并對用戶透明。

在一些實施例中，在框34，各個圖像的一部分被去除以產(chǎn)生裁剪后的圖像。在框36，例如通過擴展其余圖像像素以填充原始圖像區(qū)域來對裁剪后的圖像進行數(shù)字變焦。然后，在框38，通過彼此疊加變焦后的圖像來組合變焦后的圖像，以產(chǎn)生經(jīng)修改的變焦后圖像，該經(jīng)修改的變焦后圖像比得出該圖像的任何圖像都具有更高的分辨率。在一種實現(xiàn)方式中，可利用諸如通過引用結(jié)合于此的美國專利6,208,765和7,218,751中公開的超級分辨率(super-resolution)原理之類的超級分辨率原理來進行疊加。在框40，經(jīng)修改的變焦后圖像被呈現(xiàn)在顯示器上。

如這里所了解的，如果所使用的超級分辨率技術要求連續(xù)圖像之間的相對運動，則這一要求可以通過在人握持相機時發(fā)生的不可避免的手部移動而得以滿足，這會在幾秒內(nèi)產(chǎn)生一系列圖像，這些圖像彼此各略微有所不同。如果需要對運動進行計算，可以采用運動估計算法。例如，一種簡單算法可利用各個圖像中的多組像素來估計運動，這些像素除了在圖像內(nèi)的相對位置之外基本保持不變，運動向量是從這多組像素在各圖像之間的運動直接得出的。超級疊加技術可以在產(chǎn)生最終的經(jīng)修改的變焦后圖像的過程中使用貝葉斯(Bayesian)或卡爾曼(Kalman)過濾技術。