[發(fā)明專利]基于卷積神經(jīng)網(wǎng)絡(luò)的全參考虛擬現(xiàn)實(shí)視頻質(zhì)量評(píng)價(jià)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201810239888.2
• 申請(qǐng)日: 2018-03-22
• 公開（公告）號(hào): CN108449595A
• 公開（公告）日: 2018-08-24
• 發(fā)明（設(shè)計(jì)）人: 楊嘉琛;劉天麟
• 申請(qǐng)（專利權(quán)）人: 天津大學(xué)
• 主分類號(hào): H04N17/00
• 分類號(hào): H04N17/00;H04N13/106;G06N3/02
• 代理公司: 天津市北洋有限責(zé)任專利代理事務(wù)所 12201
• 代理人: 程毓英

1.一種基于卷積神經(jīng)網(wǎng)絡(luò)的全參考虛擬現(xiàn)實(shí)視頻質(zhì)量評(píng)價(jià)方法，包括下列的步驟：

1)視頻預(yù)處理：利用VR視頻的左視圖視頻與右視圖視頻得到VR差分視頻，從差分視頻中均勻抽幀，給每一幀不重疊的切塊，每一幀相同位置的視頻塊構(gòu)成一個(gè)VR視頻補(bǔ)丁，以產(chǎn)生足夠多的數(shù)據(jù)用于卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。

2)建立兩個(gè)配置一樣的卷積神經(jīng)網(wǎng)絡(luò)模型：建立兩個(gè)配置一樣的卷積神經(jīng)模型，每個(gè)模型包含兩個(gè)卷積層、兩個(gè)池化層與兩個(gè)全連接層，激活函數(shù)采用整流線性單元，采用Dropout策略防止過擬合；隨后調(diào)整網(wǎng)絡(luò)的層內(nèi)結(jié)構(gòu)及訓(xùn)練參數(shù)以達(dá)到更好的分類效果；

3)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)模型：利用梯度下降法，以VR視頻補(bǔ)丁為輸入，每個(gè)補(bǔ)丁配上原視頻質(zhì)量分?jǐn)?shù)作為標(biāo)簽，分批次將其輸入網(wǎng)絡(luò)，經(jīng)過多次迭代后網(wǎng)絡(luò)各層權(quán)重得到充分優(yōu)化，最終得到可用于提取虛擬現(xiàn)實(shí)視頻特征的卷積神經(jīng)網(wǎng)絡(luò)模型；

4)利用卷積神經(jīng)網(wǎng)絡(luò)提取特征：將原視參考VR視頻與失真VR視頻，分別輸入到兩個(gè)構(gòu)建好的卷積神經(jīng)網(wǎng)絡(luò)模型，在第一個(gè)全連接層后輸出得到不同的兩個(gè)特征，將這兩個(gè)特征鏈接在一起作為新的特征用于支持向量機(jī)訓(xùn)練；

5)利用支持向量機(jī)得到局部分?jǐn)?shù)，采用分?jǐn)?shù)融合策略得到最終分?jǐn)?shù)：通過支持向量機(jī)得到每一個(gè)VR視頻補(bǔ)丁的分?jǐn)?shù)，通過參考VR視頻制作特點(diǎn)的分?jǐn)?shù)融合策略，對(duì)不同位置的VR視頻補(bǔ)丁賦予不同的權(quán)重，對(duì)不同視頻補(bǔ)丁的分?jǐn)?shù)加權(quán)得到最終的VR視頻分?jǐn)?shù)。

本發(fā)明所提出的VR視頻客觀質(zhì)量評(píng)價(jià)方法利用了原始參考視頻與深度學(xué)習(xí)模型，在極大提高客觀評(píng)價(jià)方法準(zhǔn)確率的同時(shí)能夠利用機(jī)器自身學(xué)習(xí)提取VR視頻更高維度的特征，無需手工提取視頻的特征。除此之外本發(fā)明結(jié)合VR視頻的制作與播放特點(diǎn)，對(duì)不同的視頻補(bǔ)丁分?jǐn)?shù)給與不同的權(quán)值進(jìn)行加權(quán)，然后利用分?jǐn)?shù)融合策略來綜合表述VR視頻的客觀質(zhì)量。本發(fā)明采取的視頻預(yù)處理方法簡(jiǎn)單，具有較強(qiáng)的實(shí)用性，并能有效擴(kuò)大數(shù)據(jù)量。所提出的測(cè)試模型耗時(shí)小，易于操作。本方法得到的VR視頻質(zhì)量客觀評(píng)價(jià)結(jié)果與主觀評(píng)價(jià)結(jié)果具有很高的一致性，能夠較為準(zhǔn)確的反映VR視頻的質(zhì)量。