[發(fā)明專利]一種基于卷積神經(jīng)網(wǎng)絡(luò)的圖像或視頻質(zhì)量增強方法

有效

• 申請?zhí)枺?/td>: 201710878189.8
• 申請日: 2017-09-26
• 公開（公告）號: CN107481209B
• 公開（公告）日: 2020-04-21
• 發(fā)明（設(shè)計）人: 徐邁;楊韌;王祖林
• 申請（專利權(quán)）人: 北京航空航天大學(xué)
• 主分類號: G06T5/00
• 分類號: G06T5/00
• 代理公司: 北京永創(chuàng)新實專利事務(wù)所 11121
• 代理人: 祗志潔

1.一種基于卷積神經(jīng)網(wǎng)絡(luò)的圖像或視頻質(zhì)量增強方法，其特征在于，包括如下步驟：

(1)設(shè)計卷積神經(jīng)網(wǎng)絡(luò)A，用于視頻或圖像的質(zhì)量增強；

所述的網(wǎng)絡(luò)A中，共有5個卷積層，設(shè)i表示卷積層的序號，F(xiàn)_i(Y)表示第i個卷積層的輸出，Y表示質(zhì)量待增強的圖像或視頻幀，W_i表示第i個卷積層的權(quán)重矩陣，B_i表示第i個卷積層的偏置矩陣；網(wǎng)絡(luò)A的網(wǎng)絡(luò)結(jié)構(gòu)表示如下：

F₀(Y)＝Y(jié)

F_i(Y)＝PReLU(W_i*F_i-1(Y)+B_i),i∈{1,2,3,4}

F₅(Y)＝W₅*F₄(Y)+B₅

其中，*為卷積運算；PReLU運算為PReLU(x)＝max(0,x)+k·min(0,x)，x可表示任意數(shù)值，max(0,x)表示取0與x中的最大值，min(0,x)表示取0與x中的最小值，k為待訓(xùn)練的參數(shù)；定義K_i為第i個卷積層中各個節(jié)點的PReLU運算中的k組成的矩陣；

網(wǎng)絡(luò)A中，W_i、B_i和K_i都是待訓(xùn)練的參數(shù)；利用訓(xùn)練視頻或圖像訓(xùn)練網(wǎng)絡(luò)A中所有待訓(xùn)練的參數(shù)；

(2)基于網(wǎng)絡(luò)A設(shè)計卷積神經(jīng)網(wǎng)絡(luò)B，用于視頻或圖像的質(zhì)量增強；

所述的網(wǎng)絡(luò)B中，共有9個卷積層，設(shè)j表示卷積層的序號，Y表示質(zhì)量待增強的圖像或視頻幀，G_j(Y)表示第j個卷積層的輸出，在第1至第4個卷積層中，W′_j表示第j個卷積層的權(quán)重矩陣；在第5個卷積層中，W′₅表示第5個卷積層的權(quán)重矩陣；在第6至第8個卷積層中，W′_j1為第j個卷積層中，用于卷積第(j-5)個卷積層的數(shù)據(jù)的權(quán)重，W′_j2為第j個卷積層中，用于卷積第(j-1)個卷積層的數(shù)據(jù)的權(quán)重；在第9個卷積層中，W′₉₁為第9個卷積層中，用于卷積第4個卷積層的數(shù)據(jù)的權(quán)重，W′₉₂為第9個卷積層中，用于卷積第8個卷積層的數(shù)據(jù)的權(quán)重；B′_j表示第j個卷積層的偏置矩陣；網(wǎng)絡(luò)B的網(wǎng)絡(luò)結(jié)構(gòu)表示如下：

G₀(Y)＝Y(jié)

G_j(Y)＝PReLU(W′_j*F_j-1(Y)+B′_j),j∈{1,2,3,4}

G₅(Y)＝PReLU(W′₅*F₀(Y)+B′₅)

G_j(Y)＝PReLU(0,W′_j1*G_j-5(Y)+W′_j2*G_j-1(Y)+B′_j),j∈{6,7,8}

G₉(Y)＝W′₉₁*G₄(Y)+W′₉₂*G₈(Y)+B′₉

其中，K′_j為第j個卷積層中各個節(jié)點的PReLU運算中的k組成的矩陣，j＝1,2,…,8；

網(wǎng)絡(luò)B中的每個W′_j、W′_j1、W′_j2、B′_j和K′_j矩陣都是待訓(xùn)練的參數(shù)；利用訓(xùn)練視頻或圖像訓(xùn)練網(wǎng)絡(luò)B中所有待訓(xùn)練的參數(shù)；

(3)用戶選擇質(zhì)量待增強的視頻幀或圖像的通道，根據(jù)設(shè)備的計算能力或剩余電量指定使用網(wǎng)絡(luò)A還是網(wǎng)絡(luò)B進行質(zhì)量增強。