[發明專利]基于深度學習方法的塊分割編碼復雜度優化方法及裝置

有效

• 申請號: 201810240912.4
• 申請日: 2018-03-22
• 公開（公告）號: CN108495129B
• 公開（公告）日: 2019-03-08
• 發明（設計）人: 徐邁;李天一;楊韌;關振宇;黃典潤
• 申請（專利權）人: 北京航空航天大學
• 主分類號: H04N19/103
• 分類號: H04N19/103;H04N19/122;H04N19/149;H04N19/18;H04N19/96
• 代理公司: 北京開陽星知識產權代理事務所(普通合伙) 11710
• 代理人: 要然

1.一種基于深度學習方法的塊分割編碼復雜度優化方法，其特征在于，包括：

在高效率視頻編碼HEVC中，查看所述HEVC當前使用的幀編碼模式；

根據所述幀編碼模式選取與所述幀編碼模式對應的編碼單元CU分割預測模型；所述CU分割預測模型為預先建立并訓練的模型；

根據選取的所述CU分割預測模型預測所述HEVC中的CU分割結果，根據預測的所述CU分割結果對整個編碼樹單元CTU進行分割；

所述幀編碼模式為幀內模式，則所述CU分割預測模型為能夠提前終止的分層卷積神經網絡ETH-CNN；

所述幀編碼模式為幀間模式，則所述CU分割預測模型為能夠提前終止的ETH-LSTM和所述ETH-CNN。

2.根據權利要求1所述的方法，其特征在于，所述查看所述HEVC當前使用的幀編碼模式的步驟之前，所述方法還包括：

構建所述ETH-CNN，訓練所述ETH-CNN；

構建所述ETH-LSTM，訓練所述ETH-LSTM。

3.根據權利要求2所述的方法，其特征在于，構建所述ETH-CNN，訓練所述ETH-CNN的步驟，包括：

構建幀內模式下HEVC中用于預測CU分割結果的第一數據庫；

采用HEVC標準參考程序對所述第一數據庫中的圖像進行編碼，獲取所述第一數據庫中的正樣本和負樣本；

采用所述正樣本和所述負樣本訓練幀內模式對應的ETH-CNN。

4.根據權利要求3所述的方法，其特征在于，所述第一數據庫中的每一個圖像的分辨率為4928×3264；

所述第一數據庫包括：訓練集、驗證集和測試集；所述訓練集、驗證集和測試集中的每一個均包括四個子集；

四個子集中第一個子集中每一個圖像的分辨率為4928×3264，第二個子集中每一個圖像的分辨率為2880×1920，第三個子集中每一個圖像的分辨率為1536×1024，第四個子集中每一個圖像的分辨率為768×512。

5.根據權利要求2所述的方法，其特征在于，構建所述ETH-CNN，訓練所述ETH-CNN；構建所述ETH-LSTM，訓練所述ETH-LSTM的步驟，包括：

構建幀間模式下HEVC中用于預測CU分割結果的第二數據庫；

對第二數據庫中的所有視頻的分辨率進行預處理，使得每一個視頻段分辨率在預設范圍內，以及對視頻長度進行預處理，使得每一個視頻長度為預設長度以內；

采用HEVC標準參考程序對預處理后的所述第二數據庫中的視頻進行編碼，獲取所述第二數據庫中的正樣本和負樣本；

采用所述正樣本和所述負樣本訓練幀間模式對應的ETH-CNN和幀間模式對應的ETH-LSTM。

6.根據權利要求3所述的方法，其特征在于，

ETH-CNN的輸入為一個64×64的矩陣，代表整個CTU的亮度信息，用U來表示；

ETH-CNN結構化輸出包含三個分支B₁、B₂和B₃，三個分支分別輸出三級分層CU分割圖HCPM的預測結果：和

即ETH-CNN在三個分支B₁、B₂和B₃中進行結構化輸出，其中：

B₁分支輸出HCPM第一級的預測結果

B₂分支輸出HCPM第二級的預測結果

B₃分支輸出HCPM第三級的預測結果

U代表最大尺寸的64×64的CU；

U_i代表由最大尺寸CU分出的每個32×32的CU；i代表每個32×32的CU的序號，i取1～4；

U_i，j代表由32×32的CU分出的每個子CU，即16×16的CU；j代表每個16×16的CU的序號，j取1～4；

ETH-CNN的提前終止機制能夠提前結束第二、三個分支上全連接層的計算；

和/或，ETH-CNN的具體結構包含兩個預處理層，三個卷積層，一個歸并層和三個全連接層。