[發(fā)明專利]一種利用多層深度表征進行無參考圖像質(zhì)量預(yù)測的方法

有效

• 申請?zhí)枺?/td>: 201710962452.1
• 申請日: 2017-10-16
• 公開（公告）號: CN107743225B
• 公開（公告）日: 2019-08-06
• 發(fā)明（設(shè)計）人: 俞俊;高飛;孟宣彤
• 申請（專利權(quán)）人: 杭州電子科技大學(xué)
• 主分類號: H04N17/00
• 分類號: H04N17/00
• 代理公司: 杭州君度專利代理事務(wù)所(特殊普通合伙) 33240
• 代理人: 朱月芬

1.一種利用多層深度表征進行無參考圖像質(zhì)量預(yù)測的方法,其特征在于包括如下步驟：

步驟(1)數(shù)據(jù)預(yù)處理

將所有圖像縮放到統(tǒng)一的尺寸大小，縮放后的圖像中每個像素均減去RGB的平均值，將二進制數(shù)據(jù)轉(zhuǎn)換為深度神經(jīng)網(wǎng)絡(luò)能識別的數(shù)據(jù)格式；

步驟(2)特征提取及處理

利用一個在ImageNet上訓(xùn)練好的37層VGGnet模型進行特征提取，提取每層特征并進行處理，得到一個列向量；

步驟(3)預(yù)測分數(shù)

將每層特征融合得到的列向量輸入支持向量回歸模型得到每層特征的預(yù)測分數(shù)；將各層分數(shù)平均值作為整張圖片的質(zhì)量評估分值。

2.根據(jù)權(quán)利要求1所述的一種利用多層深度表征進行無參考圖像質(zhì)量預(yù)測的方法,其特征在于步驟(1)所述的數(shù)據(jù)預(yù)處理：

1-1.在數(shù)據(jù)集中隨機選擇部分圖像作為訓(xùn)練集，剩下的作為測試集；將訓(xùn)練集中圖像縮放為224*224的固定尺寸，縮放后的圖像中每個像素均減去RGB的平均值，測試集不作處理；

1-2.將圖像的名稱和分值一一對應(yīng)寫入txt文本，讀取txt文本，按名稱檢索圖像，將二進制格式數(shù)據(jù)轉(zhuǎn)換為神經(jīng)網(wǎng)絡(luò)能夠識別的數(shù)據(jù)。

3.根據(jù)權(quán)利要求2所述的一種利用多層深度表征進行無參考圖像質(zhì)量預(yù)測的方法,其特征在于步驟(2)所述的特征提取及處理：

2-1.選擇用已經(jīng)在ImageNet上訓(xùn)練好的37層VGGnet模型進行試驗，并提取各層特征作為圖像質(zhì)量評價的依據(jù)；

2-2.對圖像進行特征提取，使用深度神經(jīng)網(wǎng)絡(luò)提取每層圖像特征形成圖像特征F_l，其中F_l∈R^c×h×w，l是深度神經(jīng)網(wǎng)絡(luò)的第l層，l＝(1,2,...,37),c是圖像特征的通道數(shù),h和w分別是圖像特征的高和寬；

2-3.每一層的圖像特征F_l均有c個通道，即c個特征圖F_l,k，F(xiàn)_l,k∈R^h×w，是第l層的第k個特征圖,h和w依舊是圖像特征的高和寬；將每個F_l,k中的最大值提取出來，組成列向量u_l,k，最小值提取出來組成列向量v_l,k；

u_l,k＝max{F_l,k}and

v_l,k＝min{F_l,k} (公式1)

2-4.將步驟2-3得到的c個特征向量組合得到f_l作為第l層的特征進行；

f_l＝{u_l,1,...u_l,c,v_l,1,...v_l,c} (公式2)

其中，f_l的維度是2c,同時包含了每個特征圖的最大值和最小值。

4.根據(jù)權(quán)利要求3所述的一種利用多層深度表征進行無參考圖像質(zhì)量預(yù)測的方法,其特征在于步驟(3)所述的預(yù)測分數(shù)：

3-1.利用徑向基核函數(shù)的支持向量回歸，將f_l作為輸入，計算出每一層深度網(wǎng)絡(luò)的圖像質(zhì)量分數(shù)s_l；徑向基核函數(shù)的定義如下：

K(x_i,x_j)＝<φ(x_i),φ(x_j)>＝exp(-||x_i-x_j||²/2σ²) (公式3)

其中，φ(.)能夠?qū)⒌途S向量映射到高維空間,σ是高斯核的標(biāo)準(zhǔn)差；

計算圖像質(zhì)量分數(shù)s_l的公式如下：

s_l＝<ω,φ(f_l)>+b (公式4)

其中，ω是權(quán)重，b是偏置，ω和b是在訓(xùn)練中得到的；

經(jīng)過上述操作，能夠得到深度神經(jīng)網(wǎng)絡(luò)每一層對于圖片的質(zhì)量評分s，s＝{s_l|l＝1,...,L}；

3-2.把所有層的質(zhì)量分數(shù)相加求平均作為圖片的最終質(zhì)量評分q；如下公式所示：

其中，l表示深度網(wǎng)絡(luò)的第l層，L表示深度神經(jīng)網(wǎng)絡(luò)的深度，此處L＝37。