[發(fā)明專利]用于全向視頻的編碼的方法和設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 201880060555.1
• 申請(qǐng)日: 2018-09-14
• 公開（公告）號(hào): CN111095930A
• 公開（公告）日: 2020-05-01
• 發(fā)明（設(shè)計(jì)）人: F.加爾平;F.拉卡普;P.博德斯
• 申請(qǐng)（專利權(quán)）人: 交互數(shù)字VC控股公司
• 主分類號(hào): H04N19/597
• 分類號(hào): H04N19/597;H04N19/70;H04N19/174;H04N19/167;H04N19/154;G06T15/04
• 代理公司: 北京市柳沈律師事務(wù)所 11105
• 代理人: 李芳華

方法和設(shè)備啟用用于與等距柱狀投影相關(guān)的視頻編碼的工具和操作。這些技術(shù)使用標(biāo)志用于選擇性地啟用特定工具和操作，使得能夠在可能的情況下降低編碼和解碼復(fù)雜性。在一個(gè)實(shí)施例中，在切片級(jí)別或畫面級(jí)別使用標(biāo)志以進(jìn)行主動(dòng)ERP運(yùn)動(dòng)向量預(yù)測(cè)、ERP幀內(nèi)預(yù)測(cè)、基于ERP的量化參數(shù)適配或其它此類功能。在另一實(shí)施例中，能夠使用標(biāo)志基于圖像內(nèi)的位置，來(lái)啟用與ERP相關(guān)的工具。在其它實(shí)施例中，能夠利用對(duì)應(yīng)標(biāo)志基于默認(rèn)運(yùn)動(dòng)差異與ERP變換的運(yùn)動(dòng)差異之間的比較、或者基于邊緣檢測(cè)得分，來(lái)啟用ERP相關(guān)的工具。

技術(shù)領(lǐng)域

以下描述的方面一般而言涉及視頻壓縮的領(lǐng)域，并且具體地涉及全向視頻的領(lǐng)域。

背景技術(shù)

近來(lái)，已存在可用的大視場(chǎng)內(nèi)容(高達(dá)360°)的增長(zhǎng)。在沉浸式顯示裝置(諸如頭戴式顯示器(HMD)、智能眼鏡、PC屏幕、寫字板、智能電話等)上觀看內(nèi)容的用戶潛在地?zé)o法完全看到這樣的內(nèi)容。這意味著在給定時(shí)刻，用戶可能僅查看內(nèi)容的一部分。但是，用戶通常可以通過(guò)各種手段(諸如頭部移動(dòng)、鼠標(biāo)移動(dòng)、觸摸屏、語(yǔ)音等)在內(nèi)容中導(dǎo)航。通常期望對(duì)該內(nèi)容進(jìn)行編碼和解碼。

發(fā)明內(nèi)容

所描述的實(shí)施例中的至少一個(gè)解決了現(xiàn)有技術(shù)的這些和其它缺陷和缺點(diǎn)，所述實(shí)施例針對(duì)用于設(shè)計(jì)適于等角矩形投影(ERP)或類似的映射特定工具(諸如ERP運(yùn)動(dòng)向量變換和關(guān)聯(lián)的編碼方法)的緊湊語(yǔ)法的方法和設(shè)備。

在至少一個(gè)實(shí)施例中，提供了一種方法。該方法包括步驟：對(duì)大視場(chǎng)視頻的視頻比特流的至少一部分進(jìn)行編碼，其中所述大視場(chǎng)視頻的至少一個(gè)畫面被表示為使用投影函數(shù)投影到至少一個(gè)二維畫面上的三維表面；對(duì)所述視頻執(zhí)行與所述投影函數(shù)對(duì)應(yīng)的操作；以及在所述視頻比特流的語(yǔ)法元素中插入代表所述執(zhí)行的標(biāo)志。

在至少另一實(shí)施例中，提供了一種方法。該方法包括步驟：解析大視場(chǎng)視頻的視頻比特流的至少一部分，其中所述大視場(chǎng)視頻的至少一個(gè)畫面被表示為使用投影函數(shù)投影到至少一個(gè)二維畫面上的三維表面；檢測(cè)所述視頻比特流的語(yǔ)法元素中的標(biāo)志；基于所述標(biāo)志確定是否對(duì)所述視頻執(zhí)行與所述投影函數(shù)對(duì)應(yīng)的操作；以及對(duì)視頻比特流的所述至少一部分進(jìn)行解碼。

在另一實(shí)施例中，提供了一種根據(jù)前面提到的方法中的任一種的方法，其中從指示ERP工具是否被激活的標(biāo)志推導(dǎo)切片參數(shù)。然后為切片設(shè)置激活模式。

在另一實(shí)施例中，提供了一種根據(jù)前面提到的方法中的任一種的方法，其中使用多路(multi-pass)編碼器將ERP操作置于速率失真優(yōu)化器中，用于選擇是否針對(duì)畫面的一部分激活工具。

在另一實(shí)施例中，提供了一種根據(jù)前面提到的方法中的任一種的方法，其中使用運(yùn)動(dòng)估計(jì)器以確定是否針對(duì)畫面的一部分激活ERP工具。

在另一實(shí)施例中，提供了一種根據(jù)前面提到的方法中的任一種的方法，其中使用邊緣檢測(cè)器以確定是否針對(duì)畫面的一部分激活ERP工具。

在另一實(shí)施例中，提供了一種設(shè)備。該設(shè)備包括存儲(chǔ)器和處理器。處理器被配置為執(zhí)行前面提到的方法實(shí)施例的任何變型，用于編碼或解碼。

根據(jù)本文所述的另一方面，提供了一種非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其包含根據(jù)前面提到的方法實(shí)施例中的任何一個(gè)的方法、或由前面提到的設(shè)備實(shí)施例中的任何一個(gè)的設(shè)備生成的數(shù)據(jù)內(nèi)容，用于使用處理器重放。

根據(jù)本文描述的另一方面，提供了一種包括視頻數(shù)據(jù)的信號(hào)，該視頻數(shù)據(jù)根據(jù)用于對(duì)視頻數(shù)據(jù)的塊進(jìn)行編碼的前面提到的方法實(shí)施例中的任何一個(gè)的方法、或者通過(guò)用于對(duì)視頻數(shù)據(jù)的塊進(jìn)行編碼的前面提到的設(shè)備實(shí)施例中的任何一個(gè)的設(shè)備而生成，用于使用處理器重放。

根據(jù)本文描述的另一方面，提供了一種包括指令的計(jì)算機(jī)程序產(chǎn)品，當(dāng)該指令由計(jì)算機(jī)運(yùn)行時(shí)，促使計(jì)算機(jī)執(zhí)行前面提到的方法實(shí)施例中的任何一個(gè)的方法。

通過(guò)要結(jié)合附圖閱讀的對(duì)示例性實(shí)施例的以下詳細(xì)描述，本原理的這些和其它方面、特征和優(yōu)點(diǎn)將變得清楚。