[發(fā)明專利]基于三維卷積神經(jīng)網(wǎng)絡的通用型無參考視頻質(zhì)量評價算法

有效

• 申請?zhí)枺?/td>: 201711291224.2
• 申請日: 2017-12-08
• 公開（公告）號: CN107959848B
• 公開（公告）日: 2019-12-03
• 發(fā)明（設計）人: 張淑芳;郭志鵬
• 申請（專利權）人: 天津大學
• 主分類號: H04N17/00
• 分類號: H04N17/00;G06N3/04
• 代理公司: 12201 天津市北洋有限責任專利代理事務所
• 代理人: 李素蘭<國際申請>=<國際公布>=<進入

1.一種基于三維卷積神經(jīng)網(wǎng)絡的通用型無參考視頻質(zhì)量評價算法，其特征在于，該算法包括3D ConvNets模型訓練階段和質(zhì)量評價階段兩個部分，具體步驟如下：

所述3D ConvNets模型訓練階段的訓練過程具體描述如下：

根據(jù)視頻質(zhì)量庫中訓練視頻的主觀評價分數(shù)，將訓練視頻按失真程度的不同分為10組，并且給這10組視頻分配0,1,2,…,9共10個不同的標簽，將這些帶有標簽的視頻輸入3DConvNets中；

隨機初始化3D ConvNets中卷積層、池化層和全連接層的各個權重及偏置參數(shù)，第一次迭代開始；輸入視頻在3D ConvNets中按視頻塊進行卷積和池化運算；前兩個卷積層和池化層提取出的都是視頻的低等級特征，后面卷積層、池化層以及全連接層提取的是視頻的高等級抽象特征；

在3D ConvNets中經(jīng)過一系列運算后，最后一層輸出的10維特征向量及其對應的標簽被輸入進softmax with loss層中，在這一層里，首先利用softmax根據(jù)特征向量對輸入視頻分類，得到預測標簽，然后將預測標簽與輸入的標簽進行比較，計算損失Loss；

第一次迭代結(jié)束，通過反向傳播根據(jù)Loss調(diào)整3D ConvNets中卷積層、池化層以及全連接層中的各個權重及偏置參數(shù)，之后開始第二次迭代；

不斷進行迭代和反向傳播調(diào)整權重及偏置參數(shù)，直到輸出的Loss足夠小為止，此時的3D ConvNets就是已經(jīng)訓練好的能夠有效提取失真視頻質(zhì)量特征的卷積神經(jīng)網(wǎng)絡模型；

所述質(zhì)量評價階段的評價過程具體描述如下：

將每一個輸入的失真視頻分為一個個幀長為16的視頻段，每兩個連續(xù)的視頻段之間有8幀的重疊區(qū)間，將這些視頻段輸入3D ConvNets中，把第7個全連接層的輸出向量作為提取出來的特征，對一個失真視頻所有視頻段的特征取平均得到維數(shù)是4096的特征向量A_a，表示為：

A_a＝(x₁,x₂,...,x₄₀₉₆) (1)

對A_a進行L2范數(shù)規(guī)則化以避免出現(xiàn)過擬合，計算方法為：

其中，x₁,x₂,...,x₄₀₉₆是向量A_a的各個元素，||A_a||₂指向量A_a的二范數(shù)，(y₁,y₂,...,y₄₀₉₆)是規(guī)則化后的特征向量；

去除特征向量中的冗余部分，保留有用信息，同時也是為之后與V-BLIINDS算法進行平等的性能比較，使用主成分分析的方法降低F的維數(shù)為46，得到最終的視頻質(zhì)量特征(f₁,f₂,...,f₄₆)；

利用線性SVR預測失真視頻的質(zhì)量分數(shù)，實現(xiàn)過程分為兩步：首先對訓練集中的視頻提取質(zhì)量特征，連同其對應的主觀評價分數(shù)有監(jiān)督訓練線性SVR模型，建立視頻特征與質(zhì)量分數(shù)的映射關系；然后提取測試集視頻的質(zhì)量特征，將特征輸入已經(jīng)訓練好的線性SVR中，通過映射函數(shù)計算出最終的質(zhì)量分數(shù)。