[發(fā)明專利]視頻穩(wěn)定

有效

• 申請(qǐng)?zhí)枺?/td>: 201210363053.0
• 申請(qǐng)日: 2012-09-26
• 公開（公告）號(hào): CN102957869A
• 公開（公告）日: 2013-03-06
• 發(fā)明（設(shè)計(jì)）人: C.奧文;P.卡爾森
• 申請(qǐng)（專利權(quán)）人: 斯凱普公司
• 主分類號(hào): H04N5/232
• 分類號(hào): H04N5/232;H04N5/235;H04N5/243
• 代理公司: 中國(guó)專利代理(香港)有限公司 72001
• 代理人: 孫之剛;汪揚(yáng)

技術(shù)領(lǐng)域

本發(fā)明涉及視頻信號(hào)的穩(wěn)定（stabilisation）。特別地，本發(fā)明涉及使用攝像機(jī)捕獲視頻信號(hào)幀并對(duì)攝像機(jī)的運(yùn)動(dòng)進(jìn)行補(bǔ)償，從而穩(wěn)定視頻信號(hào)。

背景技術(shù)

攝像機(jī)可被用于捕獲作為視頻信號(hào)幀使用的圖像的序列。可以將攝像機(jī)固定到穩(wěn)定的物體，例如可以將攝像機(jī)安裝在三腳架之類的支架上，從而在捕獲視頻幀的時(shí)候保持?jǐn)z像機(jī)靜止。然而，攝像機(jī)經(jīng)常是在移動(dòng)設(shè)備中實(shí)現(xiàn)的，并且未必安裝在固定的物體上，例如，攝像機(jī)可能會(huì)被保持或是位于車輛之類的運(yùn)動(dòng)物體上。在攝像機(jī)捕獲視頻信號(hào)幀時(shí)，攝像機(jī)的移動(dòng)可能導(dǎo)致視頻信號(hào)本身出現(xiàn)不希望的移動(dòng)。

圖像穩(wěn)定處理是一種可以用于補(bǔ)償視頻信號(hào)中的不希望移動(dòng)的方法。一些系統(tǒng)執(zhí)行運(yùn)動(dòng)估計(jì)來產(chǎn)生供圖像穩(wěn)定處理使用的運(yùn)動(dòng)矢量。在Julan?Yang等人發(fā)表的“Online?Video?Stabilization?Based?on?Particle?Filters”一文中描述了一種這樣的系統(tǒng)。圖像穩(wěn)定算法可以包括三個(gè)主要部分：運(yùn)動(dòng)估計(jì)、運(yùn)動(dòng)平滑以及運(yùn)動(dòng)補(bǔ)償。運(yùn)動(dòng)估計(jì)部件可以估計(jì)視頻信號(hào)內(nèi)部的局部運(yùn)動(dòng)矢量，并且基于這些局部估計(jì)來計(jì)算全局運(yùn)動(dòng)矢量。然后，運(yùn)動(dòng)平滑部件可以處理針對(duì)所估計(jì)的全局運(yùn)動(dòng)矢量所進(jìn)行的濾波，以便平滑計(jì)算得到的值以及防止在先前計(jì)算的運(yùn)動(dòng)矢量之間出現(xiàn)很大的不希望的差別。之后，運(yùn)動(dòng)補(bǔ)償部件可以在與已濾波的全局運(yùn)動(dòng)矢量相反的方向上移動(dòng)圖像，從而穩(wěn)定視頻信號(hào)。所述運(yùn)動(dòng)補(bǔ)償部件可以對(duì)旋轉(zhuǎn)、扭曲或縮放之類的復(fù)雜變換加以考慮。

為了如上所述基于運(yùn)動(dòng)矢量來執(zhí)行圖像穩(wěn)定處理，那么有可能需要大量的處理資源。在要實(shí)時(shí)穩(wěn)定視頻信號(hào)、也就是在攝像機(jī)捕獲視頻信號(hào)的同時(shí)使用（例如在視頻呼叫中傳送或者從設(shè)備中輸出）穩(wěn)定版本的視頻信號(hào)的時(shí)候，這有可能會(huì)成為一個(gè)問題。此外，在執(zhí)行圖像穩(wěn)定處理的設(shè)備是移動(dòng)電話這類處理資源有限的小型移動(dòng)設(shè)備的時(shí)候同樣有可能會(huì)出現(xiàn)問題。

近年來，運(yùn)動(dòng)傳感器的制造已經(jīng)變得更加簡(jiǎn)單和廉價(jià)，并且運(yùn)動(dòng)傳感器的大小也顯著變小。現(xiàn)在，在移動(dòng)設(shè)備中實(shí)現(xiàn)運(yùn)動(dòng)傳感器是可行的。運(yùn)動(dòng)傳感器產(chǎn)生代表傳感器運(yùn)動(dòng)的采樣。在Andy?L.?Lin發(fā)表的“Using?Sensors?for?Efficient?Video?Coding?in?Hand-held?devices”以及Martin?Drahansk?等人發(fā)表的“Accelerometer?Based?Digital?Video?Stabilization?for?General?Security?Surveillance?Systems”這兩篇現(xiàn)有文獻(xiàn)中述及了使用源自運(yùn)動(dòng)傳感器的數(shù)據(jù)來穩(wěn)定視頻信號(hào)的可能性。

已知的處理工具“VirtualDub”提供了需要修剪視頻信號(hào)的離線穩(wěn)定處理（也就是非實(shí)時(shí)）。

在英國(guó)申請(qǐng)1109071.9中提出了一種用于在線（即實(shí)時(shí)）發(fā)送側(cè)數(shù)字穩(wěn)定的機(jī)制。該機(jī)制在很多情形中都是有效的，但其需要修剪所傳送的視頻。而這有可能會(huì)影響所傳送的視頻的質(zhì)量。

發(fā)明內(nèi)容

根據(jù)本發(fā)明的一個(gè)方面，提供了一種從用戶設(shè)備傳送視頻信號(hào)的方法，該方法包括：在用戶設(shè)備上使用攝像機(jī)捕獲多個(gè)視頻信號(hào)幀；確定設(shè)備的功能狀態(tài)；以及在進(jìn)行傳輸之前，基于功能狀態(tài)來有選擇地穩(wěn)定視頻信號(hào)。

優(yōu)選地，所述功能狀態(tài)是攝像機(jī)的運(yùn)動(dòng)程度，該方法包括：監(jiān)視攝像機(jī)的運(yùn)動(dòng)并且將其與一個(gè)閾值相比較。

所述監(jiān)視可以包括：使用與攝像機(jī)相關(guān)聯(lián)的運(yùn)動(dòng)傳感器來產(chǎn)生代表攝像機(jī)運(yùn)動(dòng)的多個(gè)采樣；使用這些采樣來確定攝像機(jī)在所述攝像機(jī)捕獲的連續(xù)幀之間的位移；以及確定代表所確定的攝像機(jī)位移所導(dǎo)致的連續(xù)幀之間視頻信號(hào)中的運(yùn)動(dòng)的像素位移，并且該方法還包括：將像素位移與閾值進(jìn)行比較；如果像素位移超出所述閾值，則在傳輸之前穩(wěn)定所述視頻信號(hào)；否則在不實(shí)施穩(wěn)定處理的情況下傳送視頻信號(hào)。

優(yōu)選地，攝像機(jī)的運(yùn)動(dòng)是旋轉(zhuǎn)運(yùn)動(dòng)，運(yùn)動(dòng)傳感器是旋轉(zhuǎn)運(yùn)動(dòng)傳感器，并且攝像機(jī)的位移是攝像機(jī)的角位移。

用戶設(shè)備包括前向攝像機(jī)和后向攝像機(jī)，當(dāng)功能狀態(tài)是選擇了前向攝像機(jī)時(shí)，這時(shí)可以在不執(zhí)行穩(wěn)定處理的情況下傳送視頻信號(hào)。優(yōu)選地，在選擇了設(shè)備的后向攝像機(jī)的時(shí)候，這時(shí)可以對(duì)視頻信號(hào)進(jìn)行穩(wěn)定。

優(yōu)選地，使用運(yùn)動(dòng)傳感器產(chǎn)生的采樣的采樣率要高于視頻信號(hào)的幀速率。

攝像機(jī)和運(yùn)動(dòng)傳感器可以安裝在移動(dòng)設(shè)備內(nèi)部。

穩(wěn)定視頻信號(hào)的步驟可以包括：對(duì)像素位移進(jìn)行濾波；以及根據(jù)已濾波的像素位移來移動(dòng)第一和第二幀中的至少一個(gè)幀的圖像。