[發(fā)明專利]基于集成學(xué)習(xí)和概率模型的快速VVC幀內(nèi)預(yù)測(cè)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010618890.8
• 申請(qǐng)日: 2020-06-30
• 公開（公告）號(hào): CN111711815B
• 公開（公告）日: 2021-09-28
• 發(fā)明（設(shè)計(jì)）人: 趙鐵松;黃雨航;吳陸狄;徐藝文;王楷
• 申請(qǐng)（專利權(quán)）人: 福州大學(xué)
• 主分類號(hào): H04N19/124
• 分類號(hào): H04N19/124;H04N19/593;G06N3/04;G06N20/20
• 代理公司: 福州元?jiǎng)?chuàng)專利商標(biāo)代理有限公司 35100
• 代理人: 陳明鑫;蔡學(xué)俊

本發(fā)明涉及一種基于集成學(xué)習(xí)和概率模型的快速VVC幀內(nèi)預(yù)測(cè)方法，包括以下步驟：步驟S1：基于集成學(xué)習(xí)并利用視頻序列的時(shí)空域相關(guān)性，預(yù)測(cè)得到不同編碼單元的深度信息；步驟S2:使用時(shí)空域相鄰已編碼CU的劃分模式對(duì)未編碼CU的劃分模式進(jìn)行預(yù)測(cè),并按概率大小排序得到劃分模式排序表；步驟S3:根據(jù)得到的不同編碼單元的深度信息和劃分模式排序表，提前終止CU的劃分。本發(fā)明在保證視頻質(zhì)量的前提下，有效地節(jié)省了視頻編碼時(shí)間，用于目前主流的高清、超高清視頻編碼時(shí)，優(yōu)勢(shì)更加明顯。

技術(shù)領(lǐng)域

本發(fā)明涉及視頻編碼技術(shù)領(lǐng)域，具體涉及一種基于集成學(xué)習(xí)和概率模型的快速VVC幀內(nèi)預(yù)測(cè)方法。

背景技術(shù)

視頻編碼的目的是為了剔除視頻中存在的大量冗余信息(如時(shí)域冗余，空域冗余，統(tǒng)計(jì)冗余，熵冗余等)，以壓縮視頻文件的占用空間，提高視頻在存儲(chǔ)及傳輸時(shí)的效率。

VVC是新一代視頻編碼標(biāo)準(zhǔn)，通過對(duì)原有編碼框架中的各模塊進(jìn)行算法更新與技術(shù)提升來(lái)實(shí)現(xiàn)更高的壓縮效率，例如：在幀內(nèi)預(yù)測(cè)中，引入了基于跨分支線性模型的幀內(nèi)預(yù)測(cè)技術(shù)、基于位置的幀內(nèi)預(yù)測(cè)合并技術(shù)及更多的角度預(yù)測(cè)模式；在幀間預(yù)測(cè)中，引入了仿射運(yùn)動(dòng)預(yù)測(cè)技術(shù)、先進(jìn)時(shí)域運(yùn)動(dòng)矢量預(yù)測(cè)技術(shù)、自適應(yīng)運(yùn)動(dòng)矢量分辨率技術(shù)、基于8×8塊的運(yùn)動(dòng)補(bǔ)償技術(shù)及高精度(1/16像素值)運(yùn)動(dòng)矢量存儲(chǔ)及補(bǔ)償技術(shù)；在變換和量化中，引入了多重變換選擇技術(shù)及變換系數(shù)編碼時(shí)隱藏符號(hào)數(shù)據(jù)的技術(shù)，并擴(kuò)大了的量化參數(shù)的取值范圍；在CU劃分過程中，引入了更為精細(xì)的二叉、三叉及四叉樹劃分方式以提升編碼壓縮率。然而新技術(shù)的引入在提高壓縮率的同時(shí)也增加了編碼時(shí)間。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明的目的在于提供一種基于集成學(xué)習(xí)和概率模型的快速VVC幀內(nèi)預(yù)測(cè)方法，在保證視頻質(zhì)量的前提下，基于集成學(xué)習(xí)與概率模型方法，有效地節(jié)省了視頻編碼時(shí)間。

為實(shí)現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案：

一種基于集成學(xué)習(xí)和概率模型的快速VVC幀內(nèi)預(yù)測(cè)方法，包括以下步驟：

步驟S1：基于集成學(xué)習(xí)并利用視頻序列的時(shí)空域相關(guān)性，預(yù)測(cè)得到不同編碼單元的深度信息；

步驟S2:使用時(shí)空域相鄰已編碼CU的劃分模式對(duì)未編碼CU的劃分模式進(jìn)行預(yù)測(cè),并按概率大小排序得到劃分模式排序表；

步驟S3:根據(jù)得到的不同編碼單元的深度信息和劃分模式排序表，提前終止CU的劃分。

進(jìn)一步的，所述步驟S1具體為：

步驟S11：選定深度圖參考單元，若當(dāng)前幀領(lǐng)域存在已編碼CU，就選定其深度圖單元信息作為參考，否則選定前一幀相應(yīng)位置的深度圖單元信息作為參考；

步驟S12：讀取數(shù)據(jù)集，對(duì)數(shù)據(jù)樣本進(jìn)行預(yù)處理，并送入三個(gè)不同的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行網(wǎng)絡(luò)訓(xùn)練，得到基于集成學(xué)習(xí)的深度預(yù)測(cè)模型；

步驟S13：將多尺度參考信息分別送入步驟S12訓(xùn)練好的三個(gè)卷積神經(jīng)網(wǎng)絡(luò)中，得到三個(gè)深度圖單元預(yù)測(cè)值U₁、U₂及U₃，使用多數(shù)投票法集成三個(gè)卷積神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)結(jié)果作為最終的輸出；

步驟S14、獲得CU預(yù)測(cè)深度圖后，使用預(yù)測(cè)深度圖的平均值作為最終CU的預(yù)測(cè)深度D_O。

進(jìn)一步的，所述選定深度圖參考單元的函數(shù)表達(dá)式如下：

其中X(x，y，t)表示第t幀位于(x，y)位置的深度圖單元，其中Δx和Δy表示-n到n的整數(shù)。

進(jìn)一步的，所述最終CU的預(yù)測(cè)深度D_O具體為：