[發(fā)明專利]一種全景視頻幀內(nèi)預(yù)測編碼方法及裝置

在審

• 申請?zhí)枺?/td>: 201710230084.1
• 申請日: 2017-04-10
• 公開（公告）號: CN107071445A
• 公開（公告）日: 2017-08-18
• 發(fā)明（設(shè)計）人: 趙海武
• 申請（專利權(quán)）人: 上海國茂數(shù)字技術(shù)有限公司
• 主分類號: H04N19/176
• 分類號: H04N19/176;H04N19/159;H04N19/124;H04N19/50;H04N19/61
• 代理公司: 上海思微知識產(chǎn)權(quán)代理事務(wù)所(普通合伙)31237
• 代理人: 李時云

技術(shù)領(lǐng)域

本發(fā)明涉及一種全景視頻編解碼技術(shù)領(lǐng)域，特別是涉及一種全景視頻幀內(nèi)預(yù)測編碼方法及裝置。

背景技術(shù)

全景視頻是指空間中一個觀察點四周所有的場景，由這個觀察點所能接收到的所有光線構(gòu)成。全景視頻可以抽象成一個以觀察點為中心的球面。

在用計算機處理全景視頻的時候，不可避免地要對全景視頻進行離散化空間采樣。在對全景視頻進行離散化空間采樣的時候，需要保證一定的空間采樣密度，以達到所需的清晰度。同時，又要考慮到計算機的存儲器不適合存儲球面結(jié)構(gòu)的數(shù)據(jù)，需要以某種方式把采樣點排列到平面上。

常用的全景視頻采樣方法中，有經(jīng)緯圖采樣、正六面體采樣、正四棱錐采樣等。傳統(tǒng)的壓縮全景視頻的方式是把采樣后的全景視頻當(dāng)成普通的平面視頻，用傳統(tǒng)的壓縮方法進行壓縮編碼。在傳統(tǒng)的壓縮編碼方法中，會利用幀內(nèi)預(yù)測方法消除視頻數(shù)據(jù)中的空間冗余。即在壓縮編碼一幀圖像時，會參考已經(jīng)編碼的部分的重建值來預(yù)測當(dāng)前編碼的塊，這一方法稱為‘幀內(nèi)預(yù)測’。

在H.264、AVS、H.265等傳統(tǒng)視頻編碼標(biāo)準(zhǔn)中，幀內(nèi)預(yù)測都是參考當(dāng)前塊的上側(cè)和左側(cè)的重建像素，因為在這些標(biāo)準(zhǔn)中，一幀圖像被分成若干相等尺寸的方塊，按照從上到下，從左到右的順序進行編碼，所以重建像素總是位于當(dāng)前編碼塊的左側(cè)或者上側(cè)。

然而，對于全景視頻，按照上述的編碼順序編碼一幀圖像中的塊，可能會出現(xiàn)當(dāng)前塊的右側(cè)或下側(cè)的像素已經(jīng)被編碼并重建的情況，即右側(cè)或下側(cè)的像素也是可以用來進行幀內(nèi)預(yù)測的，因此，如果能利用盡可能多的重建像素進行幀內(nèi)預(yù)測的效果肯定會更好，可以提高幀內(nèi)預(yù)測的準(zhǔn)確性，從而提高壓縮效率。

發(fā)明內(nèi)容

為克服上述現(xiàn)有技術(shù)存在的不足，本發(fā)明之目的在于提供一種全景視頻幀內(nèi)預(yù)測編碼方法及裝置，其可以按照全景視頻的相鄰關(guān)系使用盡可能多的重建像素對當(dāng)前塊進行幀內(nèi)預(yù)測，提高幀內(nèi)預(yù)測的準(zhǔn)確程度，從而提高壓縮效率。

為達上述及其它目的，本發(fā)明提出一種全景視頻幀內(nèi)預(yù)測編碼方法，包括如下步驟：

步驟一，對全景視頻進行采樣，將全景視頻轉(zhuǎn)化為平面視頻；

步驟二，將該平面視頻的各視頻幀分成若干預(yù)測塊，根據(jù)編碼順序與各預(yù)測塊的相鄰關(guān)系使用盡可能多的重建像素對當(dāng)前預(yù)測塊進行幀內(nèi)預(yù)測，依次對該平面視頻的每一幀進行編碼。

進一步地，步驟二進一步包括：

步驟2.1，將各視頻幀劃分成若干預(yù)測塊；

步驟2.2，按照從上到下、從左到右的順序與各預(yù)測塊的相鄰關(guān)系使用盡可能多的重建像素對當(dāng)前預(yù)測塊進行幀內(nèi)預(yù)測并編碼。

進一步地，步驟2.2進一步包括：

步驟2.2.1，根據(jù)編碼順序和相鄰關(guān)系獲取當(dāng)前預(yù)測塊的參考像素；

步驟2.2.2，根據(jù)參考像素獲取當(dāng)前預(yù)測塊的預(yù)測值；

步驟2.2.3，利用當(dāng)前預(yù)測塊減去當(dāng)前預(yù)測塊的預(yù)測值，得到殘差；

步驟2.2.4，對該殘差進行變換，得到變換系數(shù)；

步驟2.2.5，對該變換系數(shù)進行量化，得到量化后的變換系數(shù)；

步驟2.2.6，對量化后的變換系數(shù)以及預(yù)測方式、預(yù)測塊的形狀和大小進行熵編碼，得到編碼輸出比特；

步驟2.2.7，對量化后的變換系數(shù)進行反量化、反變換，得到重建殘差；

步驟2.2.8，利用該重建殘差加上當(dāng)前塊的預(yù)測值，得到重建塊；

步驟2.2.9，保存該重建塊。

進一步地，于步驟2.2.1中，根據(jù)編碼順序獲取參考像素，是指當(dāng)前預(yù)測塊使用已經(jīng)編碼的塊的重建值進行預(yù)測。

進一步地，根據(jù)相鄰關(guān)系獲取參考像素，是指當(dāng)前預(yù)測塊使用與當(dāng)前預(yù)測塊在原始球面上相鄰的塊的重建值進行預(yù)測。

進一步地，根據(jù)編碼順序和相鄰關(guān)系獲取參考像素是指參考像素所在的塊必須同時滿足在當(dāng)前預(yù)測塊之前編碼和在原始球面上與當(dāng)前預(yù)測塊相鄰兩個條件。

進一步地，該參考像素是指在原始球面上位于當(dāng)前預(yù)測塊四周的像素。

為達到上述目的，本發(fā)明還提供一種全景視頻幀內(nèi)預(yù)測編碼裝置，包括：

采樣轉(zhuǎn)換單元，用于對全景視頻進行采樣，將全景視頻轉(zhuǎn)化為平面視頻；

編碼單元，用于將該平面視頻的各視頻幀分成若干預(yù)測塊，根據(jù)編碼順序與各預(yù)測塊的相鄰關(guān)系使用盡可能多的重建像素對當(dāng)前預(yù)測塊進行幀內(nèi)預(yù)測，依次對該平面視頻的每一幀進行編碼。

進一步地，該編碼單元包括：

分割單元，用于將視頻幀劃分成若干預(yù)測塊；