[發(fā)明專利]視頻編碼方法和裝置

在審

• 申請?zhí)枺?/td>: 202210969495.3
• 申請日: 2022-08-12
• 公開（公告）號: CN115484464A
• 公開（公告）日: 2022-12-16
• 發(fā)明（設(shè)計）人: 楊明田;張昊;王豪;陳高星;繆澤翔;蘇昊天;石雋
• 申請（專利權(quán)）人: 阿里巴巴（中國）有限公司
• 主分類號: H04N19/96
• 分類號: H04N19/96;H04N19/436;H04N19/30;H04N19/119;H04N19/103
• 代理公司: 北京君以信知識產(chǎn)權(quán)代理有限公司 11789
• 代理人: 郝玉娥

本申請公開了視頻編碼方法、系統(tǒng)、裝置及設(shè)備。其中所述方法通過分層CU劃分圖(HCPM)表示編碼樹單元(CTU)的劃分結(jié)構(gòu)，通過分層CU模式圖(HCMM)表示CTU中各CU的編碼模式類型，將多任務(wù)學(xué)習(xí)用于同時加速視頻編碼器的多個模塊的編碼過程，包括CU的深度決策過程和CU的模式?jīng)Q策過程，多任務(wù)學(xué)習(xí)模型以HCPM和HCMM作為學(xué)習(xí)目標，基于該模型對CU深度和編碼模式預(yù)測的結(jié)果，確定編碼樹單元的劃分模式和編碼模式。采用這種處理方式，使得用一個深度模型來預(yù)測多個目標，能夠快速跳過不必要的CU劃分過程和CU幀內(nèi)模式?jīng)Q策過程；因此，可以有效降低較高編碼質(zhì)量下的編碼復(fù)雜度。

本申請要求在2022年8月3日提交中國專利局、申請?zhí)枮?02210926773.7、發(fā)明名稱為“視頻編碼方法和裝置”的中國專利申請的優(yōu)先權(quán)，其全部內(nèi)容通過引用結(jié)合在本申請中。

技術(shù)領(lǐng)域

本申請涉及視頻處理技術(shù)領(lǐng)域，具體涉及視頻編碼方法、裝置和系統(tǒng)，視頻編碼預(yù)測模型構(gòu)建方法和裝置，以及電子設(shè)備。

背景技術(shù)

視頻編碼器能夠提供的視頻壓縮率和編碼復(fù)雜度，是影響視頻產(chǎn)品(如直播、點播、視頻通話等)競爭力的重要指標。

一種典型的視頻編碼方式采用如下過程：用分層編碼單元(CU)劃分圖(HCPM)的形式表示整個編碼樹單元(CTU)的CU劃分結(jié)構(gòu)；通過早期終止的分層CNN(Early-TerminatedHierarchical CNN，ETH-CNN)來學(xué)習(xí)預(yù)測HCPM；通過早期終止的長短期記憶LSTM網(wǎng)絡(luò)(ETH-LSTM)來學(xué)習(xí)CU劃分的時域相關(guān)性；結(jié)合ETH-LSTM和ETH-CNN網(wǎng)絡(luò)來預(yù)測CU的劃分，以提升視頻壓縮率及降低幀間模式下的編碼復(fù)雜度。

然而，在實現(xiàn)本發(fā)明過程中，發(fā)明人發(fā)現(xiàn)上述方案至少存在如下問題：由于存在不必要的CU劃分過程和CU幀內(nèi)模式?jīng)Q策過程，因此編碼復(fù)雜度較高。

發(fā)明內(nèi)容

本申請?zhí)峁┮曨l編碼方法，以解決現(xiàn)有技術(shù)存在的無編碼復(fù)雜度較高的問題。本申請另外提供視頻編碼裝置和系統(tǒng)，視頻編碼預(yù)測模型構(gòu)建方法和裝置，以及電子設(shè)備。

本申請?zhí)峁┮环N視頻編碼方法，包括：

獲取視頻幀的編碼樹單元；

獲取所述編碼樹單元的預(yù)測殘差圖像和預(yù)測重建圖像；

通過多任務(wù)學(xué)習(xí)的預(yù)測模型，根據(jù)所述預(yù)測殘差圖像和預(yù)測重建圖像，獲取所述編碼樹單元的分層編碼單元劃分圖和分層編碼單元模式圖，所述分層編碼單元劃分圖包括編碼單元的劃分概率，所述分層編碼單元模式圖包括編碼單元的編碼模式概率；

根據(jù)所述劃分概率、所述編碼模式概率，確定所述編碼樹單元的劃分模式及編碼模式。

可選的，所述通過多任務(wù)學(xué)習(xí)的預(yù)測模型，根據(jù)所述預(yù)測殘差圖像和預(yù)測重建圖像，獲取所述編碼樹單元的分層編碼單元劃分圖和分層編碼單元模式圖，包括：

通過所述預(yù)測模型，根據(jù)所述預(yù)測殘差圖像和預(yù)測重建圖像，獲取共享特征；

根據(jù)所述共享特征，獲取所述分層編碼單元劃分圖；

根據(jù)所述共享特征，獲取所述分層編碼單元模式圖。

可選的，所述通過所述預(yù)測模型，根據(jù)所述預(yù)測殘差圖像和預(yù)測重建圖像，獲取共享特征，包括：

通過所述預(yù)測模型，根據(jù)所述預(yù)測殘差圖像和預(yù)測重建圖像，獲取多個層次的共享特征；

所述根據(jù)所述共享特征，獲取所述分層編碼單元劃分圖，包括：

根據(jù)多個層次的共享特征，獲取所述分層編碼單元劃分圖；

所述根據(jù)所述共享特征，獲取所述分層編碼單元模式圖，包括：

根據(jù)多個層次的共享特征，獲取所述分層編碼單元模式圖。