[發(fā)明專利]用于圖像穩(wěn)定化的圖像融合方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201480032024.3
• 申請(qǐng)日: 2014-05-06
• 公開（公告）號(hào): CN105264567B
• 公開（公告）日: 2018-01-26
• 發(fā)明（設(shè)計(jì)）人: M·蒂考;周劍平;S·A·納里亞尼;R·托伏特;P·休布爾;孫偉
• 申請(qǐng)（專利權(quán)）人: 蘋果公司
• 主分類號(hào): G06T5/00
• 分類號(hào): G06T5/00;G06T5/10
• 代理公司: 中國國際貿(mào)易促進(jìn)委員會(huì)專利商標(biāo)事務(wù)所11038
• 代理人: 袁玥

背景技術(shù)

本公開整體涉及數(shù)字?jǐn)z影領(lǐng)域。更具體地，但并非加以限制，本公開涉及靜止圖像穩(wěn)定化技術(shù)。如本文所使用，圖像穩(wěn)定化是指在圖像捕獲操作期間用于減少運(yùn)動(dòng)誘發(fā)的模糊的一系列技術(shù)。此類運(yùn)動(dòng)可能源自相機(jī)、場(chǎng)景中的對(duì)象或兩者的運(yùn)動(dòng)。

在低環(huán)境光條件下拍攝高質(zhì)量照片，或者拍攝動(dòng)態(tài)場(chǎng)景(例如，體育比賽場(chǎng)景)是有挑戰(zhàn)性的，這是因?yàn)樵趫D像捕獲期間的相機(jī)運(yùn)動(dòng)和/或場(chǎng)景內(nèi)的對(duì)象的運(yùn)動(dòng)。減少運(yùn)動(dòng)模糊而不放大圖像噪聲的一種方式是捕獲并融合場(chǎng)景的多個(gè)短曝光圖像。此類操作常常被稱為“靜止圖像穩(wěn)定化”。盡管縮短圖像曝光時(shí)間可減少運(yùn)動(dòng)模糊偽影，但這樣做的代價(jià)是圖像噪聲更大和/或圖像更暗。

圖像穩(wěn)定化的一般方法由如下方面構(gòu)成：(1)從一組多個(gè)短曝光圖像選擇參考圖像，(2)相對(duì)于參考圖像來全局地配準(zhǔn)所有非參考圖像，以及(3)通過將所有所捕獲的圖像融合為參考圖像來合成輸出圖像。通過這種方式，輸出圖像代表了捕獲參考圖像時(shí)的場(chǎng)景的樣子，其中使用非參考圖像通過對(duì)所有圖像間的每個(gè)參考像素的多次觀察進(jìn)行平均/合并來減少參考圖像中的噪聲。

通過將所有所配準(zhǔn)的非參考圖像融合為參考圖像來合成輸出圖像的一般方法是對(duì)圖像直接求平均值。直接求平均值將減少圖像中的靜態(tài)區(qū)域中的噪聲，但也將引入鬼影偽影。由于場(chǎng)景中的對(duì)象移動(dòng)而在一些非參考圖像中遮蔽參考圖像中的一些像素時(shí)常常發(fā)生鬼影偽影。在所捕獲的圖像之間存在運(yùn)動(dòng)時(shí)，在直接對(duì)圖像求平均值時(shí)，在最終的輸出中可能存在明顯的鬼影偽影。圖1中示出此類鬼影偽影的效應(yīng)的實(shí)例。圖1示出了對(duì)全局配準(zhǔn)的圖像直接求平均值的所得輸出。從圖1中可以看出，在對(duì)圖像求直接平均值時(shí)，存在明顯的鬼影偽影。

避免鬼影偽影的一種方式是對(duì)遮蔽和噪聲進(jìn)行區(qū)分并拒絕融合所有被遮蔽區(qū)域的融合流程。這可通過拒絕對(duì)與其對(duì)應(yīng)參考像素相比具有非常不同的值的所有非參考像素求平均值來實(shí)現(xiàn)。確定可接受差異的一種方式是基于特定像素中的預(yù)計(jì)噪聲來對(duì)其進(jìn)行計(jì)算。一旦已確定接受閾值，便可從求平均值過程中排除與其對(duì)應(yīng)參考像素差異超過這個(gè)閾值的非參考像素。

然而，使用針對(duì)鬼影/非鬼影像素分類而設(shè)置的閾值自身可能導(dǎo)致圖像偽影，尤其是在存在嚴(yán)重噪聲的情況下，這對(duì)于圖像穩(wěn)定化而言可能是一種典型情況。這是因?yàn)榻邮荛撝凳强赡芫哂幸欢ㄊ”壤慕y(tǒng)計(jì)估計(jì)值。相鄰像素可能容易落在閾值的一側(cè)或另一側(cè)，從而導(dǎo)致在鬼影像素/非鬼影(即，更大噪聲/更清潔)像素之間產(chǎn)生突然的過渡。因此，可改進(jìn)當(dāng)前使用的融合方法。

發(fā)明內(nèi)容

在一個(gè)實(shí)施例中，提供了一種將所捕獲的參考圖像與所捕獲的非參考圖像融合的方法。該方法包括獲取在第一時(shí)間處所捕獲的場(chǎng)景的第一圖像，其中該圖像具有多個(gè)像素，并且在第二時(shí)間處獲取場(chǎng)景的第二圖像，其中第一圖像中的多個(gè)像素中的每個(gè)像素在第二圖像中具有對(duì)應(yīng)像素。該方法然后可涉及從第一圖像選擇第一像素，并且針對(duì)第二圖像中的第一像素的對(duì)應(yīng)像素來確定非二元權(quán)重值。然后可使用非二元權(quán)重值來將第一像素及其來自第二圖像的對(duì)應(yīng)像素組合以獲取第一融合像素。可重復(fù)該過程以針對(duì)第一圖像中的多個(gè)其他像素中的每個(gè)像素進(jìn)行選擇、確定和組合以獲取融合圖像。

在另一個(gè)實(shí)施例中，提供了一種用于將所捕獲的參考圖像與所捕獲的非參考圖像融合的替代方法。根據(jù)這種方法的一種方法包括獲取在第一時(shí)間處所捕獲的場(chǎng)景的第一圖像，其中第一圖像具有多個(gè)像素，然后在第二時(shí)間處獲取場(chǎng)景的第二圖像，其中第一圖像中的多個(gè)像素中的每個(gè)像素在第二圖像中具有對(duì)應(yīng)像素。然后可確定第一像素在第二圖像中的對(duì)應(yīng)像素的非二元權(quán)重值。在非二元權(quán)重值大于指定閾值時(shí)，該方法然后可將第一像素以及其來自第二圖像的對(duì)應(yīng)像素組合，以獲取第一融合像素。在非二元權(quán)重值小于或等于指定閾值時(shí)，可不將第一像素及其來自第二圖像的對(duì)應(yīng)像素組合。然后可重復(fù)該過程以針對(duì)第一圖像中的多個(gè)其他像素中的每個(gè)像素進(jìn)行選擇、確定和組合，以獲取融合圖像。