[發明專利]基于卷積神經網絡的塊內容分類方法

在審

• 申請號: 201711049706.7
• 申請日: 2017-10-31
• 公開（公告）號: CN107666612A
• 公開（公告）日: 2018-02-06
• 發明（設計）人: 陳志波;葉淑睿
• 申請（專利權）人: 中國科學技術大學
• 主分類號: H04N19/176
• 分類號: H04N19/176;H04N19/90;H04N19/85;H04N19/593
• 代理公司: 北京凱特來知識產權代理有限公司11260
• 代理人: 鄭立明,鄭哲

1.一種基于卷積神經網絡的塊內容分類方法，其特征在于，包括：

構建數據集，并將其內容類型作為訓練樣本的標簽；

構建卷積神經網絡，將訓練樣本轉換為灰度圖，再將灰度圖的每個像素用八比特二進制數進行表示，提取每個像素的末位比特來做為卷積神經網絡的輸入，通過訓練獲得末位比特-卷積神經網絡模型；

對輸入的N×N的編碼塊進行預測時，首先利用末位比特-卷積神經網絡模型預測當前編碼塊的內容類型，若輸出為相機拍攝塊，則獲得分類結果；若輸出為計算機生成塊，則繼續利用末位比特-卷積神經網絡模型進行預測，獲得相應的計算機生成文本塊或計算機生成非文本塊的分類結果。

2.根據權利要求1所述的一種基于卷積神經網絡的塊內容分類方法，其特征在于，利用末位比特-卷積神經網絡模型預測當前編碼塊的內容類型包括：

將當前編碼塊轉換為灰度圖，再將灰度圖的每個像素用八比特二進制數進行表示，提取每個像素的末位比特，獲得相應的末尾比特圖，再利用末位比特-卷積神經網絡模型對末尾比特圖的內容類型進行預測；

若輸出為相機拍攝塊，則獲得分類結果，終止流程；

若輸出為計算機生成塊，則根據計算機生成塊的位置信息從灰度圖中提取對應的灰度塊，再利用末位比特-卷積神經網絡模型對灰度塊的內容類型進行預測；輸出的分類結果為計算機生成文本塊或計算機生成非文本塊。

3.根據權利要求1所述的一種基于卷積神經網絡的塊內容分類方法，其特征在于，對于輸入的非N×N的編碼塊；

若尺寸大于N×N，則根據其內部包含的所有N×N的編碼塊的內容類型來預測；如果所有N×N的編碼塊的內容類型都相同，則將相應的內容類型作為輸入的非N×N的編碼塊的內容類型；否則，將輸入的非N×N的編碼塊的內容類型標記為混合內容塊；

若尺寸小于N×N，則認為其內容類型與其所在的N×N編碼塊的內容類型相同。

4.根據權利要求1所述的一種基于卷積神經網絡的塊內容分類方法，其特征在于，對輸入的編碼塊進行內容分類后還包括：根據編碼塊的尺寸及其內容類型進行編碼模式選擇。

5.根據權利要求4所述的一種基于卷積神經網絡的塊內容分類方法，其特征在于，

若為2N×2N的相機拍攝塊，則使用Skip模式；若為N×N、N/2×N/2或者N/4×N/4的相機拍攝塊，則使用Intra模式；

若為2N×2N的計算機生成文本塊，則使用Skip模式；若為N×N、N/2×N/2或者N/4×N/4的計算機生成文本塊，則使用Palette模式；

若為2N×2N的計算機生成非文本塊，則使用Intra模式；若為N×N的計算機生成非文本塊，則使用Intra模式或者Palette模式；若為N/2×N/2或者N/4×N/4的計算機生成非文本塊，則使用Intra模式、Palette模式或者IBC模式；

若為2N×2N的混合內容塊，則使用Skip模式。

6.根據權利要求1所述的一種基于卷積神經網絡的塊內容分類方法，其特征在于，對輸入的編碼塊進行內容分類后還包括：根據編碼塊的內容類型，結合不同應用中對不同內容的壓縮質量要求，通過改變編碼塊的量化系數以及跳過耗時長的模式來實現碼率控制。