[發(fā)明專利]全景視頻的建議視口指示方法及裝置

有效

• 申請?zhí)枺?/td>: 201780063562.2
• 申請日: 2017-11-15
• 公開（公告）號: CN110073662B
• 公開（公告）日: 2023-07-18
• 發(fā)明（設(shè)計）人: 吉爾·M·博伊斯
• 申請（專利權(quán)）人: 英特爾公司
• 主分類號: H04N19/597
• 分類號: H04N19/597;H04N19/46;H04N13/243;H04N13/344;H04N13/194;H04N13/117;H04N13/161
• 代理公司: 北京東方億思知識產(chǎn)權(quán)代理有限責(zé)任公司 11258
• 代理人: 宗曉斌

全景視頻的建議視口指示方法及裝置，生成并發(fā)送建議的視口指示，以在全景視頻中使用。在一個示例中，一種方法包括：接收包括視口元數(shù)據(jù)的經(jīng)編碼的視頻，對視頻進行解碼，提取視口元數(shù)據(jù)，基于視口元數(shù)據(jù)生成經(jīng)解碼的視頻的視口，以及緩沖所生成的視口以進行顯示。

相關(guān)申請的交叉引用

本申請要求于2016年11月17日遞交的標題為“SUGGESTED?VIEWPORT?INDICATIONFOR?PANORAMIC?VIDEO(全景視頻的建議視口指示)”、序列號為62/423,343的美國臨時申請的優(yōu)先權(quán)，其公開內(nèi)容由此以引用方式并入本文中。

技術(shù)領(lǐng)域

本說明涉及對經(jīng)編碼的視頻的傳送，并且具體而言，涉及傳送針對視頻所建議的視口(viewport)。

背景技術(shù)

隨著低成本高清晰度的攝像機和高速互聯(lián)網(wǎng)連通的出現(xiàn)，視頻互聯(lián)網(wǎng)流量迅速增長。360度視頻是虛擬現(xiàn)實、視頻會議、汽車和監(jiān)控應(yīng)用等領(lǐng)域的一種新興趨勢，并且受到包括180度和360度視場相機的寬視場相機的支持。專門的網(wǎng)站和頻道也可用于發(fā)布和觀看包括虛擬現(xiàn)實內(nèi)容的360度視頻。對于用戶組之間的協(xié)作，360度視頻提供了更大的靈活性。不同于在相機之間進行切換，遠程觀看者可以使用360度視圖跨房間移動，并且放大相機的視圖中的感興趣的人或?qū)ο蟆?/p>

使用虛擬現(xiàn)實(VR)頭戴式顯示器的全景視頻播放系統(tǒng)正在興起，以供消費者使用。全景和360度視頻內(nèi)容通常是通過將由多個相機捕獲的2D視頻拼接成球面表示(representation)來創(chuàng)建的。在一些情況下，在軟件中呈現(xiàn)多個視圖。然后將球面視頻投影成適合于視頻編碼的格式，例如等距矩形(equi-rectangular)投影格式或立方體貼圖(cube?map)投影格式。

在客戶端處，接收并解碼包含完整全景壓縮視頻幀的比特流，來創(chuàng)建整個全景視場的表示。選擇較小的視口進行顯示。視口所表示的經(jīng)解碼視頻的部分是由頭戴式顯示器的頭部位置來確定的，或者是通過在普通2D顯示器上進行觀看時的位置選擇用戶界面來確定的。

發(fā)明內(nèi)容

本公開一方面提供了一種指示建議的視口的方法。該方法包括：接收包括視口元數(shù)據(jù)的經(jīng)編碼的視頻；對視頻進行解碼；提取視口元數(shù)據(jù)，視口元數(shù)據(jù)包括多個視口；選擇多個視口中的視口；基于視口元數(shù)據(jù)使用所選擇的視口生成經(jīng)解碼的視頻的視口；以及緩沖所生成的視口以進行顯示，其中，多個視口的大小被定義為使得能夠通過根據(jù)所選擇的視口的大小使感興趣的區(qū)域的視場變寬或變窄來創(chuàng)建縮放效果。

本公開另一方面提供了一種指示建議的視口的設(shè)備。該設(shè)備包括：用于接收包括視口元數(shù)據(jù)的經(jīng)編碼的視頻的裝置；用于對視頻進行解碼的裝置；用于提取視口元數(shù)據(jù)的裝置，視口元數(shù)據(jù)包括多個視口；用于選擇多個視口中的視口的裝置；用于基于視口元數(shù)據(jù)使用所選擇的視口生成經(jīng)解碼的視頻的視口的裝置；以及用于緩沖所生成的視口以進行顯示的裝置，其中，多個視口的大小被定義為使得能夠通過根據(jù)所選擇的視口的大小使感興趣的區(qū)域的視場變寬或變窄來創(chuàng)建縮放效果。

本公開另一方面提供了一種指示建議的視口裝置。該裝置包括：視頻解碼器，視頻解碼器用于接收包括視口元數(shù)據(jù)的寬視場視頻，提取包括多個視口的視口元數(shù)據(jù)，并且選擇多個視口中的視口；以及視口生成器，視口生成器用于基于視口元數(shù)據(jù)使用所選擇的視口生成經(jīng)解碼的視頻的視口，來緩沖所生成的視口以進行顯示，其中，多個視口的大小被定義為使得能夠通過根據(jù)所選擇的視口的大小使感興趣的區(qū)域的視場變寬或變窄來創(chuàng)建縮放效果。

本公開另一方面提供了一種指示建議的視口的方法。該方法包括：接收寬視場視頻；將視頻繪制到平面投影中；接收與視頻中的幀相關(guān)聯(lián)的多個選定感興趣的區(qū)域；生成描述多個視口的視口元數(shù)據(jù)，多個視口與選定感興趣的區(qū)域相對應(yīng)；將平面投影編碼為經(jīng)編碼的視頻，經(jīng)編碼的視頻包括視口元數(shù)據(jù)；以及緩沖經(jīng)編碼的視頻，其中，多個視口的大小被定義為使得能夠通過根據(jù)選定視口的大小使感興趣的區(qū)域的視場變寬或變窄來創(chuàng)建縮放效果。

附圖說明