[發(fā)明專利]重構(gòu)視頻序列的圖像的方法和重構(gòu)視頻序列的圖像的設(shè)備

有效

• 申請?zhí)枺?/td>: 201310270910.7
• 申請日: 2013-07-01
• 公開（公告）號: CN103533370B
• 公開（公告）日: 2018-05-18
• 發(fā)明（設(shè)計）人: C.查馬雷特;F.厄本;C.謝萬斯
• 申請（專利權(quán)）人: 湯姆遜許可公司
• 主分類號: H04N19/44
• 分類號: H04N19/44;G06T7/00
• 代理公司: 北京市柳沈律師事務(wù)所 11105
• 代理人: 呂曉章

重構(gòu)應(yīng)用基于視頻源內(nèi)容裁剪視頻源的子部分。重構(gòu)應(yīng)用包含產(chǎn)生顯著性圖的視覺關(guān)注模型、和基于顯著性圖推斷裁剪窗口的專用重構(gòu)算法。裁剪后，只有每個視頻圖像的重構(gòu)部分保持可見。處理視頻序列的圖像的方法包括以下步驟：確定（21）視頻序列的參數(shù)、視頻序列的先前解碼的子序列的參數(shù)和用戶設(shè)置，根據(jù)所確定的參數(shù)確定（22）要裁剪的部分，在重構(gòu)步驟剪裁（23）所確定的部分以供顯示。本發(fā)明的優(yōu)點(diǎn)是提供了基于視頻內(nèi)容自動調(diào)整重構(gòu)參數(shù)的先進(jìn)自動方法。

技術(shù)領(lǐng)域

本發(fā)明涉及一種處理視頻序列的圖像的方法和設(shè)備，尤其是重構(gòu)視頻序列的圖像。

背景技術(shù)

例如從EP1956550A已知的重構(gòu)應(yīng)用最初被設(shè)計來基于視頻源內(nèi)容裁剪視頻源的子部分。裁剪后，只有每個視頻圖像的重構(gòu)部分仍然可見。重構(gòu)應(yīng)用包含視覺關(guān)注模型(visual attention model)和專用的重構(gòu)算法。視覺關(guān)注模型產(chǎn)生顯著性圖，而重構(gòu)算法基于該顯著性圖推算出裁剪窗口。裁剪窗口的位置和大小根據(jù)視頻內(nèi)容是可變的。重構(gòu)算法與編碼或解碼過程是互補(bǔ)的。根據(jù)使用情況，可以不同地使用重構(gòu)應(yīng)用。例如，重構(gòu)應(yīng)用可以被用作在移動視頻編碼前的預(yù)處理。在另一個例子中，重構(gòu)應(yīng)用在視頻解碼后執(zhí)行。

問題是目前還沒有基于視頻內(nèi)容自動地調(diào)整重構(gòu)參數(shù)的可用的先進(jìn)的或自動的解決方案。

發(fā)明內(nèi)容

本發(fā)明通過利用在解碼視頻源數(shù)據(jù)時可用的信息來自動調(diào)整重構(gòu)應(yīng)用的設(shè)置或輸入?yún)?shù)。所公開的用于自動調(diào)整已解碼視頻序列的設(shè)置或輸入?yún)?shù)的解決方案利用了先前解碼序列的特性。

根據(jù)本發(fā)明，一種處理視頻序列的圖像的方法包括以下步驟：確定視頻序列的參數(shù)、視頻序列的先前解碼的GOP(畫面組)的參數(shù)，確定用戶設(shè)置，根據(jù)所確定的參數(shù)確定要裁減的部分，剪裁所剪裁的部分以供顯示。

視頻序列的不同參數(shù)可以被確定和使用，如GOP大小，時間子采樣因子，最小和最大縮放因子或邊界框速度。這些參數(shù)可以單獨(dú)或組合使用。例如，在一個實(shí)施例中，所確定的和使用的參數(shù)僅僅包括(從上述參數(shù)中)邊界框速度。

在一個實(shí)施例中，所確定和使用的參數(shù)包括最小和最大縮放因子。

在一個實(shí)施例中，所確定和使用的參數(shù)包括GOP大小、時間子采樣因子、最小和最大縮放因子，以及邊界框速度。

在本發(fā)明的一個實(shí)施例中，一種處理視頻序列的圖像的方法包括以下步驟：在前一圖像中確定作為前一圖像的最突出部分的像素子區(qū)域或像素子集以供包含在重構(gòu)窗口中，圍繞所述像素子區(qū)域或像素子集確定第一邊界框；在當(dāng)前圖像中確定作為當(dāng)前圖像的最突出部分的像素子區(qū)域或像素子集以供包含在重構(gòu)窗口中，并且圍繞所述區(qū)域確定第二邊界框；在連續(xù)圖像之間確定邊界框移動的最大邊界框速度；依據(jù)第一和第二邊界框以及所確定的邊界框的最大速度來確定新的邊界框；在當(dāng)前圖像中根據(jù)所確定的新邊界框裁剪子區(qū)域以供顯示。

最大邊界框速度可以根據(jù)視頻序列的先前解碼的GOP的參數(shù)確定。最大邊界框速度也可以是可從寄存器或存儲器取得的預(yù)定義值，這也對于視頻序列的先前解碼的GOP有效。

使用該方法的設(shè)備包括：圖像分析裝置，用于確定視頻序列的參數(shù)，確定視頻序列的先前解碼的GOP(畫面組)的參數(shù)，并確定用戶設(shè)置(例如，用戶接口裝置)；和圖像處理裝置，用于根據(jù)所確定的參數(shù)來確定要裁剪的部分，并裁剪所確定的部分以供顯示。如上所述，視頻序列的各種參數(shù)可單獨(dú)使用或組合使用。