[發(fā)明專利]一種基于卷積神經(jīng)網(wǎng)絡(luò)的圖像或視頻質(zhì)量增強方法

有效

• 申請?zhí)枺?/td>: 201710878189.8
• 申請日: 2017-09-26
• 公開（公告）號: CN107481209B
• 公開（公告）日: 2020-04-21
• 發(fā)明（設(shè)計）人: 徐邁;楊韌;王祖林
• 申請（專利權(quán)）人: 北京航空航天大學(xué)
• 主分類號: G06T5/00
• 分類號: G06T5/00
• 代理公司: 北京永創(chuàng)新實專利事務(wù)所 11121
• 代理人: 祗志潔

本發(fā)明公開了一種基于卷積神經(jīng)網(wǎng)絡(luò)的圖像或視頻質(zhì)量增強方法，屬于計算機視覺領(lǐng)域；首先設(shè)計兩個用于視頻質(zhì)量增強的卷積神經(jīng)網(wǎng)絡(luò)，兩個網(wǎng)絡(luò)具有不同的計算復(fù)雜度；然后選擇若干個訓(xùn)練圖像或視頻對兩個卷積神經(jīng)網(wǎng)絡(luò)中的參數(shù)進行訓(xùn)練；根據(jù)實際需要，選擇一個計算復(fù)雜度較為合適的卷積神經(jīng)網(wǎng)絡(luò)，將質(zhì)量待增強的圖像或視頻輸入到選擇的網(wǎng)絡(luò)中；最后，該網(wǎng)絡(luò)輸出經(jīng)過質(zhì)量增強的圖像或視頻。本發(fā)明可以有效增強視頻質(zhì)量；用戶可以根據(jù)設(shè)備的計算能力或剩余電量指定選用計算復(fù)雜度較為合適的卷積神經(jīng)網(wǎng)絡(luò)來進行圖像或視頻的質(zhì)量增強。

技術(shù)領(lǐng)域

本發(fā)明屬于計算機視覺領(lǐng)域，具體是一種基于卷積神經(jīng)網(wǎng)絡(luò)的圖像或視頻質(zhì)量增強方法。

背景技術(shù)

在計算機視覺領(lǐng)域，視頻質(zhì)量增強對提高視頻(或圖像)質(zhì)量、改善視頻(或圖像)視覺效果的有重要影響；視頻(或圖像)質(zhì)量增強一般是指提高質(zhì)量受損的視頻(或圖像)的質(zhì)量。在現(xiàn)在的通信系統(tǒng)中，信道帶寬受限問題廣泛存在，因此視頻(或圖像)傳輸需要經(jīng)過壓縮編碼的過程，在此過程中，視頻(或圖像)質(zhì)量會受到損失；同時，傳輸信道往往存在噪聲，這也會導(dǎo)致經(jīng)過信道傳輸后的視頻(或圖像)質(zhì)量受損；因此，視頻(或圖像)質(zhì)量增強成為了計算機視覺領(lǐng)域的一個關(guān)鍵問題。同時，在計算機視覺領(lǐng)域，越來越多的學(xué)術(shù)研究表明，卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)成為解決計算機視覺領(lǐng)域問題的一種十分有效的方法。

隨著當(dāng)下智能終端的多樣化發(fā)展，越來越多的智能終端(智能手機，平板電腦，筆記本電腦，計算機等)進入到人們的生活。計算能力的不同導(dǎo)致各智能終端對視頻(或圖像)質(zhì)量增強時的計算復(fù)雜度的承受能力不同。同時，各類智能終端自帶的電量也十分迥異，觀看視頻(或圖像)的剩余電量也可能差異很大。因此，有必要根據(jù)終端設(shè)備實際計算能力和電量水平選擇計算復(fù)雜度適合的卷積神經(jīng)網(wǎng)絡(luò)，來完成視頻(或圖像)質(zhì)量增強的任務(wù)。

發(fā)明內(nèi)容

針對目前存在的圖像或視頻質(zhì)量需要適應(yīng)多智能終端，需要根據(jù)終端情況實現(xiàn)圖像或視頻質(zhì)量的問題，本發(fā)明提供了一種基于卷積神經(jīng)網(wǎng)絡(luò)的圖像或視頻質(zhì)量增強方法，目前尚沒有基于卷積神經(jīng)網(wǎng)絡(luò)對視頻或圖像質(zhì)量增強的研究。

本發(fā)明提供的基于卷積神經(jīng)網(wǎng)絡(luò)的圖像或視頻質(zhì)量增強方法，包括：

(1)設(shè)計卷積神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)A，用于視頻或圖像的質(zhì)量增強。

所述的網(wǎng)絡(luò)A中，共有5個卷積層，設(shè)i表示卷積層的序號，F(xiàn)_i(Y)表示第i個卷積層的輸出，Y表示質(zhì)量待增強的圖像或視頻幀，W_i表示第i個卷積層的權(quán)重矩陣，B_i表示第i個卷積層的偏置矩陣；網(wǎng)絡(luò)A的網(wǎng)絡(luò)結(jié)構(gòu)表示如下：

F₀(Y)＝Y(jié)

F_i(Y)＝PReLU(W_i*F_i-1(Y)+B_i),i∈{1,2,3,4}

F₅(Y)＝W₅*F₄(Y)+B₅

其中，*為卷積運算；PReLU運算為PReLU(x)＝max(0,x)+k·min(0,x)，x可表示任意數(shù)值，max(0,x)表示取0與x中的最大值，min(0,x)表示取0與x中的最小值，k為待訓(xùn)練的參數(shù)；PReLU(W_i*F_i-1(Y)+B_i)表示對矩陣(W_i*F_i-1(Y)+B_i)中的每個數(shù)值分別進行PReLU運算；定義定義K_i為第i個卷積層中各個節(jié)點的PReLU運算中的k組成的矩陣。

網(wǎng)絡(luò)A中的W_i、B_i和K_i都是待訓(xùn)練的參數(shù)；利用訓(xùn)練視頻或圖像訓(xùn)練網(wǎng)絡(luò)A中所有待訓(xùn)練的參數(shù)。