[發明專利]視頻處理和遠程呈現系統及方法

有效

• 申請號: 200980136729.9
• 申請日: 2009-07-14
• 公開（公告）號: CN102150430A
• 公開（公告）日: 2011-08-10
• 發明（設計）人: 伊恩·克里斯托弗·奧康奈爾;阿萊克·豪斯
• 申請（專利權）人: 穆申IP有限公司
• 主分類號: H04N7/26
• 分類號: H04N7/26;G03B21/00;H04N5/74
• 代理公司: 上海翼勝專利商標事務所(普通合伙) 31218
• 代理人: 陳酩;翟羽

技術領域

本發明涉及視頻處理，特別但非僅涉及視頻編譯碼器和視頻處理器，其用于遠程呈現系統以產生“實時”佩珀爾幻象和/或從所拍攝對象后面的背景剔出(鍵出)來的該對象的影像(以下稱為“剔出的對象影像”)。

背景技術

在傳統的遠程呈現系統中，把在一個位置捕捉到的、完整的在其背景內的對象的視頻影像通過例如互聯網或多協議標記交換(MPLS)網傳輸至遠程位置，所述對象和背景的影像在所述遠程位置以佩珀爾幻象的形式被投影或以其他形式被顯示。可進行所述傳輸以致能在所述遠程位置產生“實時”影像或至少假實時影像，以在該遠程位置給所述對象“遠程呈現”。所述視頻的傳輸通常包括使用預先設定的編譯碼器在所述系統的各傳輸端和接收端將視頻編碼和/或解碼。

通常，編譯碼器包括的軟件將所述視頻(包括音頻)流加密并壓縮成數據包以作傳輸。編碼方法包括接收所述視頻流并將其編碼為隔行信號(interlaced?signal)或逐行信號(progressive?signal)(也可包括壓縮技術)。

已發現從逐行視頻信號產生的大體上靜止的對象的剔出的對象影像或佩珀爾幻象產生清楚而仔細的影像。然而，在相等的每秒顯示幀數(fps)下，逐行信號的大小是隔行信號大小的兩倍，并且在遠程呈現系統中，在一個位置捕捉到的所述視頻影像通過有限帶寬的通信線路傳輸至另一位置，傳輸大的逐行信號可以導致延時/不一致，令投影的“實時”影像中產生不想要的失真。例如，如果所述視頻的對象正在移動，則所述剔出的對象或佩珀爾幻象可能顯得不流暢，所述延時可能導致在所述剔出的對象或佩珀爾幻象與真人的互動上產生可察覺的延遲或者通信線路中的瓶頸可能產生視頻的臨時空白幀和/或音頻丟失。這降低了所述對象的遠程呈現的逼真感。

有可能通過壓縮所述視頻流或使用隔行視頻信號去編碼來減少這種信號延遲。一般而言，未經處理的BP標準分辨率(SD)流是每秒270Mb并能被壓縮成每秒1.5至2Mb、720P能被壓縮成每秒2至3Mb之間以及1080P能被壓縮成每秒4和10Mb之間。

然而，壓縮視頻流導致原始數據的完整性中某些部分被丟失或在某種程度上降級。例如，壓縮HD視頻流通常致使影像顏色飽和度變淡，對比度降低并且由于鏡頭焦點明顯的或可察覺到的丟失而使對象本體的周圍出現動態模糊。在對象物體突然或快速地向左或向右移動以及視頻影像具有高對比度的情況下，這種明顯的影像柔化在影像變暗的細節區域，例如眼窩，是最明顯的。

由于隔行視頻信號在相同的幀率(fps)下使用逐行信號一半的帶寬，所以可使用隔行信號來減少信號延時，同時保持剔出的對象或佩珀爾幻象流暢移動的表現。然而，隔行視頻信號的奇數行和偶數行之間的隔行切換效應減低了圖像的垂直分辨率(resolution)的質量。這能通過使影像模糊(邊緣柔化)來補償，然而采用這種邊緣柔化減損了影像的清晰度。

隔行信號比逐行信號具有的優點是：因為隔行信號每幀使用兩個場，自隔行信號產生的影像中的動態比自逐行信號產生的影像中的動態顯得更加流暢。由于減少了動態的捕捉以及逐行地顯示所述視頻的全幀，所以使用逐行視頻信號產生的剔出的對象影像或佩珀爾幻象看來會更扁平，因而不如使用隔行視頻信號產生的影像般逼真。然而，由于自逐行信號產生的影像對于靜態圖像來說具有更光滑、更清晰的輪廓邊，所以文字和圖像，尤其是靜態圖形，能使用逐行視頻信號來產生而受益。

因此，不管預先設定編譯碼器使用哪種編碼格式，都有可能在所產生的剔出的對象或佩珀爾幻象中出現不理想的效果。這對于在公共/大型活動時產生遠程呈現尤其是個難題，其中要拍攝例如舞臺上的情節，以及系統要求都可能在整個制作過程中顯著地變化。

對于某些遠程呈現系統(下文稱為“擬真的遠程呈現系統”)來說，從在一個位置捕捉的，被剔出背景的對象的視頻影像(剔出的對象影像)被發送至遠程位置，在那里所述剔出的影像被顯示為剔出的對象影像和/或佩珀爾幻象，有可能在所述遠程位置的真實對象旁。這能被用于形成所述剔出的影像的對象實際上存在于所述遠程位置的幻覺。非所述對象的影像區域包括黑色，理想的是在其最純的色(即，非灰色)。然而，所述剔出的對象影像的處理和傳輸有可能被錯誤的視頻信號污染所述影像的黑色區域，產生失真例如斑點、低亮度和帶有顏色的干擾，其削弱了擬真的遠程呈現的體驗。

發明內容