[發明專利]基于三維卷積神經網絡的通用型無參考視頻質量評價算法

有效

• 申請號: 201711291224.2
• 申請日: 2017-12-08
• 公開（公告）號: CN107959848B
• 公開（公告）日: 2019-12-03
• 發明（設計）人: 張淑芳;郭志鵬
• 申請（專利權）人: 天津大學
• 主分類號: H04N17/00
• 分類號: H04N17/00;G06N3/04
• 代理公司: 12201 天津市北洋有限責任專利代理事務所
• 代理人: 李素蘭<國際申請>=<國際公布>=<進入

本發明公開了一種基于三維卷積神經網絡的通用型無參考視頻質量評價算法，該方法包括3DConvNets模型訓練階段和質量評價階段兩個部分。與現有技術相比，本發明的基于三維卷積神經網絡的通用型無參考視頻質量評價算法能夠較為準確地評價多種失真類型，并且在面對不同視頻庫時保持穩定的評價準確度，性能穩定性好，并且質量評價的計算復雜度顯著低于目前主流的無參考視頻質量評價算法，評價速度更快。

技術領域

本發明涉及視頻質量評價領域，特別是一種基于三維卷積神經網絡的頻質量評價算法。

背景技術

由于視頻壓縮技術和視頻傳輸信道的限制，編碼失真和傳輸失真會不可避免地引入到視頻中，嚴重影響了視頻服務用戶的觀看體驗。主觀評價方法對于測試人群、測試環境及統計方法等有非常嚴格的規定，實施難度較大。而客觀評價方法中的無參考質量評價因為其不需要參考視頻的優點，實用性較高。由于在實際系統中，視頻往往包含多種失真類型，因此研究一種能夠評價多種視頻失真類型的通用型無參考視頻質量評價算法逐漸成為熱點。

Saad等對失真視頻分別在像素域和DCT域提取參數的統計特征，再通過運動矢量計算整體運動特征和運動相干性特征，結合空間域和時間域特征評價視頻質量，大大提高了僅用圖像質量評價方法評價視頻質量的準確度。

Li等通過對失真視頻按視頻塊做三維DCT變換(3D-DCT)，提取變換后參數的分布形狀、子帶間比例和方向等時空域特征評價視頻的失真程度。Li等人首先對失真視頻塊進行三維剪切波變換(3D Shearlet Transform)，提取變換后參數的初級統計特征，然后將特征輸入一維卷積神經網絡(1D CNN)中，得到性能更好的高層次特征評價視頻質量。

Tran等提出了三維卷積神經網絡模型3D ConvNets，該模型使用的是三維的卷積和池化算子，相較于二維卷積神經網絡，能夠更加高效地提取視頻的時空域特征。

發明內容

本發明的目的是提出了一種基于三維卷積神經網絡的通用型無參考視頻質量評價算法，將該模型應用于視頻質量評價中，通過在視頻質量庫上訓練3D ConvNets，并在質量評價階段使用3D ConvNets提取失真視頻的時空域特征，旨在提高無參考視頻質量評價與人眼主觀評價的一致性。

本發明的一種基于三維卷積神經網絡的通用型無參考視頻質量評價算法，該算法包括3D ConvNets模型訓練階段和質量評價階段兩個部分，具體步驟如下：

所述3D ConvNets模型訓練階段的訓練過程具體描述如下：

根據視頻質量庫中訓練視頻的主觀評價分數，將訓練視頻按失真程度的不同分為10組，并且給這10組視頻分配0,1,2,…,9共10個不同的標簽，將這些帶有標簽的視頻輸入3D ConvNets中；

隨機初始化3D ConvNets中卷積層、池化層和全連接層的各個權重及偏置參數，第一次迭代開始；輸入視頻在3D ConvNets中按視頻塊進行卷積和池化運算；前兩個卷積層和池化層提取出的都是視頻的低等級特征，后面卷積層、池化層以及全連接層提取的是視頻的高等級抽象特征；

在3D ConvNets中經過一系列運算后，最后一層輸出的10維特征向量及其對應的標簽被輸入進softmax with loss層中，在這一層里，首先利用softmax根據特征向量對輸入視頻分類，得到預測標簽，然后將預測標簽與輸入的標簽進行比較，計算損失Loss；

第一次迭代結束，通過反向傳播根據Loss調整3D ConvNets中卷積層、池化層以及全連接層中的各個權重及偏置參數，之后開始第二次迭代；

不斷進行迭代和反向傳播調整權重及偏置參數，直到輸出的Loss足夠小為止，此時的3D ConvNets就是已經訓練好的能夠有效提取失真視頻質量特征的卷積神經網絡模型；

所述質量評價階段的評價過程具體描述如下：