[發(fā)明專利]基于卷積神經網絡的全參考虛擬現(xiàn)實視頻質量評價方法

在審

• 申請?zhí)枺?/td>: 201810239888.2
• 申請日: 2018-03-22
• 公開（公告）號: CN108449595A
• 公開（公告）日: 2018-08-24
• 發(fā)明（設計）人: 楊嘉琛;劉天麟
• 申請（專利權）人: 天津大學
• 主分類號: H04N17/00
• 分類號: H04N17/00;H04N13/106;G06N3/02
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 程毓英

本發(fā)明涉及一種基于卷積神經網絡的全參考虛擬現(xiàn)實視頻質量評價方法，包括：視頻預處理：利用VR視頻的左視圖視頻與右視圖視頻得到VR差分視頻，從差分視頻中均勻抽幀，給每一幀不重疊的切塊，每一幀相同位置的視頻塊構成一個VR視頻補丁；建立兩個配置一樣的卷積神經網絡模型；訓練卷積神經網絡模型：利用梯度下降法，以VR視頻補丁為輸入，每個補丁配上原視頻質量分數(shù)作為標簽，分批次將其輸入網絡，經過多次迭代后網絡各層權重得到充分優(yōu)化，最終得到可用于提取虛擬現(xiàn)實視頻特征的卷積神經網絡模型；利用卷積神經網絡提取特征；利用支持向量機得到局部分數(shù)，采用分數(shù)融合策略得到最終分數(shù)。本發(fā)明提高了客觀評價方法準確率。

技術領域

本發(fā)明屬視頻處理領域，涉及虛擬現(xiàn)實視頻質量評價方法。

背景技術

作為一個新的仿真與交互技術——虛擬現(xiàn)實(VR)技術在許多領域如建筑、游戲與軍事中使用，它可以創(chuàng)建一個與現(xiàn)實世界的規(guī)則一致的虛擬環(huán)境，或者建立一個完全脫離現(xiàn)實的模擬環(huán)境，這會帶給人們更加真實的視聽感受和臨場體驗[1]。作為虛擬現(xiàn)實的重要載體，當前最接近VR視頻定義的為全景立體視頻，其發(fā)揮著巨大的作用。然而，VR視頻在采集、儲存和傳輸?shù)倪^程中由于設備和處理手段等原因，不可避免的會引入一些失真，進而影響 VR視頻的質量。因此，研究一種能有效評價虛擬現(xiàn)實視頻質量的評價方法至關重要。但是主觀評價方法易受多種因素的干擾，且費時費力，評價結果也不夠穩(wěn)定。相對主觀評價，客觀評價以軟件的方式評價圖像的質量，同時不需參與者和大量的主觀試驗，操作簡單，且與主觀評價高度相關，越來越受到相關研究者的關注。

由于虛擬現(xiàn)實技術在近些年剛剛興起，目前還沒有針對VR視頻規(guī)范標準與客觀評價體系。VR視頻具有真實感，沉浸感，立體感等特性[2]，在傳統(tǒng)多媒體類型中立體視頻與VR視頻的特點最接近，因此，對VR視頻進行評價需要參考當前立體視頻質量評價的思想。當前立體視頻的客觀評價方法主要有三類，第一類是基于人眼視覺系統(tǒng)(HVS)的評價方法。第二類是基于圖像特征并結合機器學習的評價方法。第三類是利用深度學習的評價方法。上述方法都對VR視頻客觀評價具有良好的借鑒意義。其中客觀評價方法又分為全參考，半參考和無參考三種方法，全參考方法因為具有較高的準確性而備受人關注。

[1]Minderer M,Harvey C D,Donato F,et al.Neuroscience:Virtual realityexplored.[J]. Nature,2016,533(7603):324.

[2]Hosseini M,Swaminathan V.Adaptive 360VR Video Streaming:Divide andConquer[C]//IEEE International Symposium on Multimedia.IEEE,2017:107-110.

發(fā)明內容

本發(fā)明的目的在于建立一個充分考慮原始視頻信息的虛擬現(xiàn)實視頻質量評價方法。本發(fā)明提出的虛擬現(xiàn)實視頻客觀質量評價方法，基于卷積神經網絡(CNN)與虛擬現(xiàn)實視頻本身特性，并在此基礎上提取無失真視頻的特征并與失真視頻提取的特征做對比，通過特征和視頻質量的非線性擬合，進而做出更加全面、準確的客觀評價。技術方案如下：

一種基于卷積神經網絡的全參考虛擬現(xiàn)實視頻質量評價方法，包括下列的步驟：

1)視頻預處理：利用VR視頻的左視圖視頻與右視圖視頻得到VR差分視頻，從差分視頻中均勻抽幀，給每一幀不重疊的切塊，每一幀相同位置的視頻塊構成一個VR視頻補丁，以產生足夠多的數(shù)據(jù)用于卷積神經網絡的訓練。

2)建立兩個配置一樣的卷積神經網絡模型：建立兩個配置一樣的卷積神經模型，每個模型包含兩個卷積層、兩個池化層與兩個全連接層，激活函數(shù)采用整流線性單元，采用Dropout策略防止過擬合；隨后調整網絡的層內結構及訓練參數(shù)以達到更好的分類效果；