[發(fā)明專利]在全景場景中導(dǎo)航的方法

有效

• 申請?zhí)枺?/td>: 201110282956.1
• 申請日: 2011-09-22
• 公開（公告）號: CN102413376A
• 公開（公告）日: 2012-04-11
• 發(fā)明（設(shè)計）人: E.高迪爾;Y.勒加萊伊斯;A.勞倫特
• 申請（專利權(quán)）人: 湯姆森特許公司
• 主分類號: H04N21/643
• 分類號: H04N21/643;H04N21/234;H04N21/238
• 代理公司: 北京市柳沈律師事務(wù)所 11105
• 代理人: 呂曉章

技術(shù)領(lǐng)域

本發(fā)明涉及一種在用戶終端上顯示的全景視頻序列中導(dǎo)航的方法。

背景技術(shù)

使用經(jīng)由全景圖像進行的交互式導(dǎo)航的因特網(wǎng)服務(wù)在過去的幾年中取得了巨大的成功。利用這些服務(wù)，用戶可以顯著地訪問并恢復(fù)來自名人場所的視覺信息，虛擬地參觀城鎮(zhèn)或博物館，虛擬地在建筑物內(nèi)部移動等等。這些服務(wù)基于被已知為IBR(基于圖像的呈現(xiàn))的技術(shù)，替代使用復(fù)雜的3D建模工具來構(gòu)造圖形模型，該技術(shù)使用來自真實世界的成像作為紋理并將這些應(yīng)用于用戶可以在其中導(dǎo)航的基本3D對象，諸如圓柱體、管狀體或球體。IBR技術(shù)的主要缺點在于其僅使得能夠再現(xiàn)靜態(tài)場景。

而且，幾年前，出現(xiàn)了已知為VBR(基于視頻的呈現(xiàn))的技術(shù)，其中，被應(yīng)用于3D對象的紋理是視頻流。根據(jù)該技術(shù)，例如經(jīng)由全景相機產(chǎn)生若干個同步的視頻流，以便使用若干視點捕獲整個動態(tài)場景。這些流然后被處理并應(yīng)用于3D對象。用戶然后可以以身臨其境并且處于動作中心(at?the?heart?of?the?action)的感覺在該動態(tài)場景中導(dǎo)航。

在經(jīng)由全景圖像進行交互式導(dǎo)航的背景下，已知ICIP?2002中Carten?Grünheit、Alj?oscha?Smolic和Thomas?Wiegabd的題為“Efficient?Representation?and?interactive?streaming?of?high-resolution?panoramic?views”的文檔。該文檔描述了其中根據(jù)來自用戶的導(dǎo)航命令從服務(wù)器向用戶終端傳送全景場景的視頻流的例程。全景場景的視頻流是時間連續(xù)的全景圖像序列。為了便于該全景視頻序列的傳送，將其劃分為形成馬賽克的預(yù)定義大小的多個不重疊視頻部分。這些視頻部分在前述文檔中以及在本說明書的其余部分中被稱為視頻補丁。每個視頻補丁對應(yīng)于全景視頻序列的一空間區(qū)域，并且展現(xiàn)全景視圖中的一特定空間位置。視頻補丁可以包括固定或可變數(shù)量的連續(xù)視頻補丁。在圖1中示出了這種將全景視頻序列劃分至視頻補丁。全景視頻序列10被劃分為多個視頻補丁11。在服務(wù)器中將每個視頻補丁分離地編碼。視頻序列中被參考標號為12的部分表示該序列中的在用戶終端的屏幕上顯示的部分。該區(qū)域由用戶終端所傳送的導(dǎo)航命令來定義并且在本說明書下文中被稱為可視區(qū)域(visibility?zone)。

圖2示出了重疊若干個視頻補丁(被參考標號為11a到11d)的可視區(qū)域12的示例。在此情況下，為了使用戶終端可以顯示部分12，服務(wù)器必須向用戶終端傳送至少這些4個視頻補丁。

為了使用戶具有身臨其境的印象，需要視頻補丁在用戶終端的屏幕上的顯示快速且流暢。為此目的，在前述文檔中定義了視頻補丁的預(yù)取處理。該處理在于：甚至在視頻補丁被包含在可視區(qū)域12中之前，在服務(wù)器處觸發(fā)所述視頻補丁的傳送。客戶端請求服務(wù)器傳送與全景視圖的某個區(qū)域?qū)?yīng)的并且晚于給定展現(xiàn)時間戳的視頻補丁，該展現(xiàn)時間戳是根據(jù)當前時間戳以及接收所述補丁所需的最大時間來估計的。其還包含：在用戶終端中不僅加載屬于當前可視區(qū)域的視頻補丁，而且還加載如果可視區(qū)域遵從用戶導(dǎo)航命令沿任何方向運動可能屬于當前可視區(qū)域的視頻補丁。

為此目的，對于每個視頻補丁11定義被稱為檢測區(qū)域的區(qū)域13，如例如圖3中所示的，所述區(qū)域13環(huán)繞視頻補丁11的圖像部分。在該示例中，該視頻補丁的圖像部分的邊界和其檢測區(qū)域的邊界在該圖像部分的整個周長上被分離開距離d。一旦可視區(qū)域12進入檢測區(qū)域13，將請求服務(wù)器向用戶終端傳送視頻補丁11的要求傳送給服務(wù)器。

在圖4的示例中，部分12重疊六個視頻補丁11a到11f的檢測區(qū)域(被參考標號為13a到13f)。由此按照用戶終端的請求，視頻補丁11a到11f被預(yù)取到用戶終端中，盡管僅僅視頻補丁11a到11d被部分地或全部的包括在當前的可視區(qū)域12中。

用戶終端中視頻補丁的預(yù)取使得能夠至少部分地克服用戶終端的請求傳送和視頻補丁接收之間的等待時間。

使得檢測區(qū)域13的大小足夠大，從而將請求足夠早地傳送到服務(wù)器，以便獲得良好的導(dǎo)航速度，而無需在用戶終端中預(yù)取太大數(shù)量的視頻補丁(知道此后它們中的一些將永遠不會顯示在屏幕上)并由此使得導(dǎo)航的流暢度處于不利地位。實際上，檢測區(qū)域的大小必須被定義以便在導(dǎo)航流暢度和導(dǎo)航速度之間獲得良好折衷。導(dǎo)航流暢度取決于用戶終端處理器的加載能力，其減小檢測區(qū)域的大小(要下載更多數(shù)據(jù))。相反，導(dǎo)航速度與檢測區(qū)域的大小成比例(加載數(shù)據(jù)需要更多時間)。然而，該折衷不總是容易確定的。