[發(fā)明專利]允許按照子畫面或區(qū)域隨機(jī)接入的視頻編解碼器以及使用該視頻編解碼器的視頻合成概念

在審

• 申請(qǐng)?zhí)枺?/td>: 202080018664.4
• 申請(qǐng)日: 2020-01-31
• 公開（公告）號(hào): CN113545045A
• 公開（公告）日: 2021-10-22
• 發(fā)明（設(shè)計(jì)）人: 羅伯特·斯庫賓;雅各·桑切斯德拉弗恩特;科尼利厄斯·黑爾格;托馬斯·斯切爾;卡爾斯滕·祖靈;托馬斯·威甘德
• 申請(qǐng)（專利權(quán)）人: 弗勞恩霍夫應(yīng)用研究促進(jìn)協(xié)會(huì)
• 主分類號(hào): H04N19/107
• 分類號(hào): H04N19/107;H04N19/119;H04N19/176;H04N19/70
• 代理公司: 中科專利商標(biāo)代理有限責(zé)任公司 11021
• 代理人: 潘劍穎

描述了允許更有效的視頻合成/合并和/或漸進(jìn)解碼刷新的更有效實(shí)現(xiàn)的視頻編解碼器概念以及例如就合成/合并任務(wù)的復(fù)雜性而言允許視頻合成/合并更有效的概念。

技術(shù)領(lǐng)域

本申請(qǐng)涉及視頻編碼和視頻合成。

背景技術(shù)

各種應(yīng)用利用子畫面，即，為了單獨(dú)編碼和解碼，將視頻畫面細(xì)分為子畫面。在這些應(yīng)用中，有360°視頻和漸進(jìn)解碼刷新。

在360°視頻的情況下，如圖1的左側(cè)所示，以不同的分辨率單獨(dú)地提供子畫面(HEVC情況下的圖塊)。如圖1的中間所示，用戶根據(jù)他們的觀看方向選擇一些高分辨率的圖塊和一些低分辨率的圖塊，并且如圖10的右側(cè)所示，將其合并為共同比特流。每當(dāng)用戶改變其觀看方向時(shí)，高分辨率和低分辨率的圖塊集改變。然而，并非所有的高分辨率圖塊都會(huì)轉(zhuǎn)換為低分辨率圖塊，反之亦然。這意味著僅對(duì)于改變其分辨率的圖塊子集，需要切換點(diǎn)，切換點(diǎn)通常是該特定子畫面比特流的隨機(jī)接入點(diǎn)(RAP)。

漸進(jìn)解碼刷新(GDR)是一種在非RAP處開始解碼比特流的機(jī)制，并且能夠在解碼給定數(shù)量的畫面之后以與如同解碼過程是在RAP處開始的一樣的相同的質(zhì)量顯示視頻，如圖11所示。

例如，在圖11中，四個(gè)連續(xù)的非RAP畫面(以編碼順序900連續(xù)的)示出為被相等地細(xì)分為三個(gè)圖塊組tile_group0、tile_group1和tile_group2，即，細(xì)分為相應(yīng)畫面的區(qū)域。視頻902的畫面由附圖標(biāo)記904a至904d表示，并且使用附圖標(biāo)記906來表示它們被細(xì)分成的區(qū)域。每個(gè)區(qū)域906被指示為以獨(dú)立的方式編碼，即以形成隨機(jī)接入點(diǎn)的方式(即，通過在其中寫入“IRAP”)，或者不以獨(dú)立的方式編碼，即被指示為以參考其他畫面的方式編碼(通過在其中寫入“inter”)。圖11所示的四個(gè)畫面904a至904d中沒有一個(gè)是所有區(qū)域906都被編碼為隨機(jī)接入點(diǎn)的。相反，在圖11的示例中，僅其區(qū)域之一是隨機(jī)接入點(diǎn)，但是在圖11的示例中，三個(gè)連續(xù)畫面(例如，畫面904a至904c)的隨機(jī)接入點(diǎn)區(qū)域在空間上完全覆蓋視頻902的畫面的畫面區(qū)域，因此，在此三聯(lián)畫面之后，可在解碼器處獲得無偽影的此三聯(lián)畫面的最后一張畫面(此處為畫面904c)，前提是編碼器注意該畫面904c的非RAP區(qū)域僅參考(例如，為了預(yù)測(cè)和/或熵上下文導(dǎo)出，即，就編碼相互依賴性而言)RAP區(qū)域或本身直接或間接地僅對(duì)RAP區(qū)域具有編碼依賴性的非RAP區(qū)域。也就是說，當(dāng)解碼以RAP開始時(shí)，不會(huì)立即獲得干凈的解碼畫面，而是稍后，在解碼畫面已被逐漸刷新以消除丟失參考的偽影之后獲得干凈的解碼畫面。此處，即是畫面904c。通常，GDR可以通過將內(nèi)容劃分為區(qū)域(例如，圖塊)并且利用非對(duì)準(zhǔn)的子畫面RAP對(duì)其進(jìn)行編碼來實(shí)現(xiàn)。

作為所提到的兩種情況中的任何一種的結(jié)果，跨不同子比特流的參考會(huì)有所變化。對(duì)于不同的子畫面，RAP標(biāo)記也沒有清楚地完成，因?yàn)檫@樣的子畫面僅被以信號(hào)傳達(dá)為I_SLICE類型(不應(yīng)用對(duì)先前解碼畫面的預(yù)測(cè))，并且僅通過不在參考畫面列表中包括具有I_SLICE類型的畫面之前的子畫面來完成對(duì)同一子畫面比特流的連續(xù)子畫面的中斷預(yù)測(cè)。

盡管存在上述現(xiàn)有視頻編碼概念，但是仍需要允許例如更有效的視頻合成和/或漸進(jìn)解碼刷新的更有效實(shí)現(xiàn)的視頻編碼環(huán)境。

因此，本發(fā)明的目的是提供一種視頻編解碼器，其允許更有效的視頻合成/合并和/或漸進(jìn)解碼刷新的更有效實(shí)現(xiàn)和/或例如就合成/合并任務(wù)的復(fù)雜性而言允許視頻合成/合并更有效的概念。

發(fā)明內(nèi)容

該目的通過本申請(qǐng)的獨(dú)立權(quán)利要求的主題來實(shí)現(xiàn)。