[發(fā)明專利]基于深度學(xué)習(xí)方法的塊分割編碼復(fù)雜度優(yōu)化方法及裝置

有效

• 申請?zhí)枺?/td>: 201810240912.4
• 申請日: 2018-03-22
• 公開（公告）號: CN108495129B
• 公開（公告）日: 2019-03-08
• 發(fā)明（設(shè)計）人: 徐邁;李天一;楊韌;關(guān)振宇;黃典潤
• 申請（專利權(quán)）人: 北京航空航天大學(xué)
• 主分類號: H04N19/103
• 分類號: H04N19/103;H04N19/122;H04N19/149;H04N19/18;H04N19/96
• 代理公司: 北京開陽星知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11710
• 代理人: 要然

本發(fā)明提供一種基于深度學(xué)習(xí)方法的塊分割編碼復(fù)雜度優(yōu)化方法及裝置，方法包括：在HEVC中，查看HEVC當(dāng)前使用的幀編碼模式；根據(jù)幀編碼模式選取與所述幀編碼模式對應(yīng)的CU分割預(yù)測模型；CU分割預(yù)測模型為預(yù)先建立并訓(xùn)練的模型；根據(jù)選取的CU分割預(yù)測模型預(yù)測HEVC中的CU分割結(jié)果，根據(jù)預(yù)測的CU分割結(jié)果對整個CTU進行分割。在具體應(yīng)用中，幀編碼模式為幀內(nèi)模式，則CU分割預(yù)測模型為能夠提前終止的ETH?CNN；幀編碼模式為幀間模式，則CU分割預(yù)測模型為能夠提前終止的ETH?LSTM和所述ETH?CNN。上述方法在保證CU分割預(yù)測精度的前提下，顯著縮短了編碼時決定CU分割所需時間，有效降低HEVC編碼復(fù)雜度。

技術(shù)領(lǐng)域

本發(fā)明涉及視頻編碼技術(shù)領(lǐng)域，特別是一種基于深度學(xué)習(xí)方法的塊分割編碼復(fù)雜度優(yōu)化方法及裝置。

背景技術(shù)

與前一代H.264/高級視頻編碼(Advanced Video Coding，AVC)標(biāo)準(zhǔn)相比，高效率視頻編碼(High Efficiency Video Coding，HEVC)標(biāo)準(zhǔn)能夠在相同視頻質(zhì)量下，節(jié)省大約50％的比特率。這得益于一些先進的視頻編碼技術(shù)，例如基于四叉樹結(jié)構(gòu)的編碼單元(coding unit，CU)分割結(jié)構(gòu)。但是，這些技術(shù)也帶來了相當(dāng)高的復(fù)雜度。現(xiàn)有技術(shù)HEVC的編碼時間比H.264/AVC平均多出大約253％，這限制了該標(biāo)準(zhǔn)的實際應(yīng)用。因此，有必要在率失真(rate-distortion，RD)性能幾乎不受影響的前提下，顯著降低HEVC編碼的復(fù)雜度。

在過去幾年中，已經(jīng)提出了多種降低HEVC編碼復(fù)雜度的方法。據(jù)測量，基于四叉樹的遞歸的CU分割搜索過程，占據(jù)大部分編碼時間(在標(biāo)準(zhǔn)參考軟件HM中用時超過80％)，因此很多方法都通過簡化CU分割來降低HEVC編碼復(fù)雜度。這類方法的基本思想是提前預(yù)測出CU分割，代替原編碼器中遞歸的暴力搜索來實現(xiàn)率失真優(yōu)化(RD optimization，RDO)。

目前，降低HEVC編碼復(fù)雜度的方法可以分成兩大類：啟發(fā)式方法與基于學(xué)習(xí)的方法。

早期的CU分割預(yù)測方法一般是啟發(fā)式的，這些方法根據(jù)編碼過程中的一些特征，在進行遞歸搜索之前，提前決定CU分割。在啟發(fā)式方法中，可以通過提取一些中間特征，來簡化暴力搜索。例如，在幀級別對CU分割進行判決的方法，該方法在決定當(dāng)前幀的CU深度時，跳過先前幀中較少出現(xiàn)的CU深度。在CU層面，業(yè)內(nèi)人士還提出基于金字塔型運動散度以及基于高頻關(guān)鍵點數(shù)量的CU分割判決方法。另外，業(yè)內(nèi)人士利用一些關(guān)鍵并且易于計算的特征(比如RD代價，幀間模式預(yù)測誤差)來提前預(yù)測比較合理的CU分割，再基于最小化貝葉斯風(fēng)險準(zhǔn)則來決定CU分割。同樣基于貝葉斯準(zhǔn)則，還可以完全的和低復(fù)雜度的RD代價為特征，來判決CU分割。除簡化CU分割以外，業(yè)內(nèi)人士還提出多種啟發(fā)式方法，在預(yù)測單元(prediction unit,PU)和變換單元(transform unit,TU)層面上降低編碼復(fù)雜度。例如，現(xiàn)有提出一種快速的PU尺寸判決方法，將較小的PU自適應(yīng)地整合到較大的PU中。現(xiàn)有技術(shù)還根據(jù)編碼塊標(biāo)志(coding block flag，CBF)和已編碼CU的RD代價，來預(yù)測最大概率的PU分割。在最新的研究中，利用混合拉普拉斯分布對編碼系數(shù)進行建模，并以此為基礎(chǔ)來加速RDO量化過程。此外，現(xiàn)有技術(shù)中還在HEVC的其他層面上(例如幀內(nèi)或幀間預(yù)測模式選擇，以及環(huán)路濾波)簡化編碼復(fù)雜度。