[發(fā)明專利]基于堆棧式自適應(yīng)編碼器的視頻質(zhì)量評(píng)價(jià)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010590770.1
• 申請(qǐng)日: 2020-06-24
• 公開（公告）號(hào): CN111818329B
• 公開（公告）日: 2021-08-13
• 發(fā)明（設(shè)計(jì)）人: 楊嘉琛;武建鵬
• 申請(qǐng)（專利權(quán)）人: 天津大學(xué)
• 主分類號(hào): H04N17/00
• 分類號(hào): H04N17/00;H04N19/10;H04N19/154;G06N3/08
• 代理公司: 天津市北洋有限責(zé)任專利代理事務(wù)所 12201
• 代理人: 程毓英

1.一種基于堆棧式自適應(yīng)編碼器的視頻質(zhì)量評(píng)價(jià)方法，包括下列步驟：

第一步：給定要評(píng)價(jià)的視頻序列，計(jì)算輸入視頻幀的映射結(jié)果：取輸入視頻的(2K+1)幀，求和結(jié)果的計(jì)算步驟如下列公式所示：

其中f_i為第i幀，f_j→i為第j幀到第i幀的映射，W為雙線性插值函數(shù)，為(2K+1)幀視頻映射的結(jié)果，w_j→i為求和系數(shù)，表示第j幀對(duì)于第i幀的重要程度；

第二步：計(jì)算視頻映射的梯度幅值特征，在像素點(diǎn)位置(x，y)的相對(duì)梯度方向值分別為F_RD(x,y)和F_RM(x,y)：

其中

公式中Ω代表相對(duì)坐標(biāo)變化量，定義為求取二階偏導(dǎo)數(shù)的局部區(qū)域，(p,q)代表該局部區(qū)域內(nèi)部的像素點(diǎn)，P、Q代表該區(qū)域的大小，F(xiàn)_v(x，y)，F(xiàn)_h(x,y)分別代表梯度的切向、徑向分量，均根據(jù)下列公式計(jì)算得出：

第三步：從視頻映射中提取對(duì)比度特征MNC以及幾何平均數(shù)特征GM，對(duì)比度特征MNC被表示為M_I以及幾何平均數(shù)特征GM被表示為G_I，利用M_I和G_I的統(tǒng)計(jì)特性，進(jìn)行歸一化，如下列公式所示：

其中T_i,j是以(i,j)為中心的一個(gè)鄰域，w(l,k)是權(quán)重系數(shù)，C為常數(shù)；N_I代表對(duì)M_I、G_I求幾何平均，分別代表歸一化后的對(duì)比度特征MNC以及幾何平均數(shù)特征GM；

第四步：通過堆棧式自適應(yīng)編碼器APES獲取深層特征，使用深度神經(jīng)網(wǎng)絡(luò)來訓(xùn)練APES，在訓(xùn)練階段，選擇適當(dāng)?shù)膌earning rate、epoch以及batch size，同時(shí)在訓(xùn)練時(shí)要根據(jù)訓(xùn)練結(jié)果調(diào)整策略，選擇合適的隱藏層單元，通過迭代訓(xùn)練構(gòu)建APES；利用訓(xùn)練完成的APES模型得到測(cè)試集的深層特征，分別記為梯度幅值特征P_f、幾何平均數(shù)特征P_G、歸一化對(duì)比度P_M；

第五步：利用SVR分別計(jì)算深層特征P_f、P_G、P_M的分?jǐn)?shù)，記為Q_f、Q_G、Q_M，最終的預(yù)測(cè)分?jǐn)?shù)計(jì)算如下列公式所示：

Q⁽ⁱ⁾＝W_fQ_f+W_GQ_G+W_MQ_M

其中W_f、W_G、W_M為權(quán)重系數(shù)，滿足W_f+W_G+W_M＝1，Q⁽ⁱ⁾為最終得到的預(yù)測(cè)結(jié)果。