[發(fā)明專利]基于卷積神經(jīng)網(wǎng)絡(luò)的塊內(nèi)容分類方法

在審

• 申請?zhí)枺?/td>: 201711049706.7
• 申請日: 2017-10-31
• 公開（公告）號: CN107666612A
• 公開（公告）日: 2018-02-06
• 發(fā)明（設(shè)計(jì)）人: 陳志波;葉淑睿
• 申請（專利權(quán)）人: 中國科學(xué)技術(shù)大學(xué)
• 主分類號: H04N19/176
• 分類號: H04N19/176;H04N19/90;H04N19/85;H04N19/593
• 代理公司: 北京凱特來知識產(chǎn)權(quán)代理有限公司11260
• 代理人: 鄭立明,鄭哲

技術(shù)領(lǐng)域

本發(fā)明涉及視頻編碼技術(shù)領(lǐng)域，尤其涉及一種基于卷積神經(jīng)網(wǎng)絡(luò)的塊內(nèi)容分類方法。

背景技術(shù)

卷積神經(jīng)網(wǎng)絡(luò)作為深度學(xué)習(xí)算法中的一種，目前已經(jīng)被廣泛應(yīng)用于圖像分類和模式識別領(lǐng)域中。與此同時，高效視頻編碼(HEVC)擴(kuò)展延伸的屏幕內(nèi)容編碼(SCC)采用了調(diào)色板模式(Palette)，幀內(nèi)塊預(yù)測模式(IBC)來提高編碼效率，這樣也不可避免地帶來了很高的編碼復(fù)雜度。

預(yù)測每個編碼單元的內(nèi)容類型是關(guān)鍵的一步，雖然目前已有一些工作通過低層特征，比如梯度、方差、熵和顏色數(shù)量等，可以被用于編碼塊的分類。然而，相關(guān)方法對于編碼塊內(nèi)容類型預(yù)測的準(zhǔn)確度還有待提高。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種基于卷積神經(jīng)網(wǎng)絡(luò)的塊內(nèi)容分類方法，可以提高內(nèi)容類型預(yù)測的準(zhǔn)確度與計(jì)算效率。

本發(fā)明的目的是通過以下技術(shù)方案實(shí)現(xiàn)的：

一種基于卷積神經(jīng)網(wǎng)絡(luò)的塊內(nèi)容分類方法，包括：

構(gòu)建數(shù)據(jù)集，并將其內(nèi)容類型作為訓(xùn)練樣本的標(biāo)簽；

構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)，將訓(xùn)練樣本轉(zhuǎn)換為灰度圖，再將灰度圖的每個像素用八比特二進(jìn)制數(shù)進(jìn)行表示，提取每個像素的末位比特來做為卷積神經(jīng)網(wǎng)絡(luò)的輸入，通過訓(xùn)練獲得末位比特-卷積神經(jīng)網(wǎng)絡(luò)模型；

對輸入的N×N的編碼塊進(jìn)行預(yù)測時，首先利用末位比特-卷積神經(jīng)網(wǎng)絡(luò)模型預(yù)測當(dāng)前編碼塊的內(nèi)容類型，若輸出為相機(jī)拍攝塊，則獲得分類結(jié)果；若輸出為計(jì)算機(jī)生成塊，則繼續(xù)利用末位比特-卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行預(yù)測，獲得相應(yīng)的計(jì)算機(jī)生成文本塊或計(jì)算機(jī)生成非文本塊的分類結(jié)果。

由上述本發(fā)明提供的技術(shù)方案可以看出，根據(jù)預(yù)先訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型，對每個編碼單元預(yù)測其內(nèi)容類型，預(yù)測結(jié)果具有較高的準(zhǔn)確度；此外，利用預(yù)測結(jié)果作為預(yù)處理方法，可以很容易的與快速模式選擇和碼率控制模塊結(jié)合，來指導(dǎo)編碼模式選擇和碼率控制，以減少冗余計(jì)算，提高壓縮質(zhì)量。

附圖說明

為了更清楚地說明本發(fā)明實(shí)施例的技術(shù)方案，下面將對實(shí)施例描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對于本領(lǐng)域的普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他附圖。

圖1為本發(fā)明實(shí)施例提供的將原始圖像的灰度圖轉(zhuǎn)換成卷積神經(jīng)網(wǎng)絡(luò)的輸入格式的示意圖；

圖2為本發(fā)明實(shí)施例提供的基于卷積神經(jīng)網(wǎng)絡(luò)的塊內(nèi)容分類方法的示意圖；

圖3為本發(fā)明實(shí)施例提供的不同大小編碼塊內(nèi)容類型預(yù)測的示意圖。

具體實(shí)施方式

下面結(jié)合本發(fā)明實(shí)施例中的附圖，對本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例。基于本發(fā)明的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明的保護(hù)范圍。

現(xiàn)有的屏幕內(nèi)容編碼標(biāo)準(zhǔn)中增加了一些新的編碼工具，包括調(diào)色板模式(Palette)，幀內(nèi)塊匹配(Intra Block Copy，IBC)等等。這些工具顯著的提高了壓縮質(zhì)量，同時也大大增加了編碼復(fù)雜度。因此尋找一種有效的方法，既可以保持壓縮質(zhì)量，又可以節(jié)約編碼時間，將是一個非常重要和有前景的方法。本發(fā)明提出的一種基于卷積神經(jīng)網(wǎng)絡(luò)的塊內(nèi)容分類方法作為一個預(yù)處理方法，可以很容易的與快速模式選擇和碼率控制模塊結(jié)合，來解決這個問題。

本發(fā)明實(shí)施例提供的一種基于卷積神經(jīng)網(wǎng)絡(luò)的塊內(nèi)容分類方法，主要包括如下步驟：

步驟1、構(gòu)建數(shù)據(jù)集，并將其內(nèi)容類型作為訓(xùn)練樣本的標(biāo)簽。

步驟2、構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)，將訓(xùn)練樣本轉(zhuǎn)換為灰度圖，再將灰度圖的每個像素用八比特二進(jìn)制數(shù)進(jìn)行表示，提取每個像素的末位比特來做為卷積神經(jīng)網(wǎng)絡(luò)的輸入，通過訓(xùn)練獲得末位比特-卷積神經(jīng)網(wǎng)絡(luò)模型。

如圖1所示，為將訓(xùn)練樣本(即原始圖)的灰度圖轉(zhuǎn)換為卷積神經(jīng)網(wǎng)絡(luò)的輸入格式的示意圖；圖1(a)為RGB模式的原始圖轉(zhuǎn)換后的灰度圖，圖1(b)為轉(zhuǎn)換后的末位比特圖。

從圖1(b)中可以看出：相機(jī)拍攝內(nèi)容和計(jì)算機(jī)生成內(nèi)容的末位比特分布有著較高的區(qū)分度，相機(jī)拍攝內(nèi)容區(qū)域呈現(xiàn)無序雪花狀，而計(jì)算機(jī)生成內(nèi)容區(qū)域則能基本反映原圖的紋理。因此通過末位比特圖來區(qū)分相機(jī)拍攝內(nèi)容和計(jì)算機(jī)生成內(nèi)容能降低分類難度，提高分類準(zhǔn)確度。