[發(fā)明專利]位置零時延有效
| 申請?zhí)枺?/td> | 201811471216.0 | 申請日： | 2018-12-04 |
| 公開（公告）號： | CN109996055B | 公開（公告）日： | 2022-08-12 |
| 發(fā)明（設(shè)計）人： | A·尼南 | 申請（專利權(quán)）人： | 杜比實驗室特許公司 |
| 主分類號： | H04N13/161 | 分類號： | H04N13/161;H04N13/194;H04N21/4402 |
| 代理公司： | 北京律盟知識產(chǎn)權(quán)代理有限責(zé)任公司 11287 | 代理人： | 陳甜甜 |
| 地址： | 美國加利*** | 國省代碼： | 暫無信息 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關(guān)鍵詞： | 位置 零時 | ||
本發(fā)明涉及位置零時延。基于觀看跟蹤數(shù)據(jù)，確定觀看者對由第一視頻圖像描繪的三維3D場景的觀看方向。所述第一視頻圖像在第一時間點之前已在視頻流中流式傳輸?shù)搅魇絺鬏斂蛻舳搜b置，且在所述第一時間點通過所述流式傳輸客戶端裝置向所述觀看者再現(xiàn)。基于所述觀看者的觀看方向，在將在所述視頻流中流式傳輸?shù)剿隽魇絺鬏斂蛻舳搜b置的第二視頻圖像中識別目標(biāo)觀看部分以在所述第一時間點之后的第二時間點再現(xiàn)。以比用以對所述第二視頻圖像中的剩余非目標(biāo)觀看部分進(jìn)行編碼的時空分辨率更高的目標(biāo)時空分辨率將所述目標(biāo)觀看部分編碼到所述視頻流中。
本申請要求2017年12月6日提交的第62/595,544號美國專利申請的優(yōu)先權(quán)，所述美國專利申請以全文引用的方式并入本文。
技術(shù)領(lǐng)域
本發(fā)明大體上涉及顯示圖像，且確切地說，涉及以位置零時延再現(xiàn)顯示圖像以用于增強(qiáng)現(xiàn)實(AR)、虛擬現(xiàn)實(VR)、混合現(xiàn)實(MR)等等。
背景技術(shù)
為了在觀看者可自由移動觀看者的觀看位置和方向的視頻應(yīng)用中支持低時延圖像再現(xiàn)，可能需要提供高速連接(例如，光學(xué)數(shù)據(jù)連接、局部有線連接等)以支持在極短時間間隔中將大量圖像數(shù)據(jù)發(fā)射到觀看者的客戶端裝置(例如，平視顯示器、可穿戴式裝置、頭戴裝置等)，例如在幀間隔(例如，小于8毫秒等)內(nèi)。這可能造成在視頻應(yīng)用中觀看者的客戶端裝置具有過多的外部布線且體積太大而無法容納于可穿戴式裝置的小占據(jù)面積中。
可以使用無線網(wǎng)絡(luò)將圖像數(shù)據(jù)流式傳輸?shù)娇蛻舳搜b置。然而，可以極短時間延遲或時延發(fā)射到客戶端裝置的圖像數(shù)據(jù)的量顯著受限。跟蹤觀看者的場和觀看位置且告知服務(wù)器也花費時間。從測量觀看者的觀看位置和方向時的第一時間點以及觀看者的客戶端裝置最終再現(xiàn)基于觀看者的先前測得的觀看位置和方向而產(chǎn)生/選擇的圖像時的第二時間點的往返時間延遲會很顯著，從而嚴(yán)重影響觀看者對于視頻應(yīng)用的體驗的沉浸質(zhì)量。
在這一部分中描述的方法是可以實行的方法，但不一定是在先前就已經(jīng)想到或?qū)嵭械姆椒āＲ虼耍橇碛兄甘荆駝t不應(yīng)假設(shè)在這一部分中描述的任一種方法僅憑借它們包含在這一部分中就能夠作為現(xiàn)有技術(shù)。類似地，除非另有指示，否則相對于一或多個方法所說明的問題不應(yīng)假設(shè)為已被這一部分中的任何現(xiàn)有技術(shù)所辨識。
發(fā)明內(nèi)容
本發(fā)明的一方面涉及一種用于流式傳輸視頻數(shù)據(jù)的方法，其包括：基于在第一時間之后從流式傳輸客戶端裝置接收的觀看跟蹤數(shù)據(jù)，確定觀看者相對于由第一視頻圖像描繪的三維(3D)場景的目標(biāo)觀看方向，所述第一視頻圖像(a)在所述第一時間點之前已在視頻流中流式傳輸?shù)剿隽魇絺鬏斂蛻舳搜b置，且(b)在所述第一時間點已通過所述流式傳輸客戶端裝置向所述觀看者再現(xiàn)；基于所述觀看者的所述目標(biāo)觀看方向，識別第二視頻圖像中的目標(biāo)觀看部分以在所述第一時間點之后的第二時間點之前在所述視頻流中流式傳輸?shù)剿隽魇絺鬏斂蛻舳搜b置且在所述第二時間點再現(xiàn)；將所述第二視頻圖像中的所述目標(biāo)觀看部分以高于用以對所述第二視頻圖像中在所述目標(biāo)觀看部分外部的剩余非目標(biāo)觀看部分進(jìn)行編碼的非目標(biāo)時空分辨率的目標(biāo)時空分辨率編碼到所述視頻流中；經(jīng)由所述視頻流將包括以所述目標(biāo)時空分辨率編碼的所述目標(biāo)觀看部分和以所述非目標(biāo)時空分辨率編碼的所述剩余非目標(biāo)觀看部分的所述第二視頻圖像發(fā)射到所述流式傳輸客戶端裝置；其中所述方法由一或多個計算裝置執(zhí)行。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于杜比實驗室特許公司，未經(jīng)杜比實驗室特許公司許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201811471216.0/2.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
