[發(fā)明專利]視頻質(zhì)量的預測方法、裝置及服務器

在審

• 申請?zhí)枺?/td>: 202011522537.6
• 申請日: 2020-12-21
• 公開（公告）號: CN112669270A
• 公開（公告）日: 2021-04-16
• 發(fā)明（設(shè)計）人: 魯方波;汪賢;樊鴻飛;蔡媛
• 申請（專利權(quán)）人: 北京金山云網(wǎng)絡(luò)技術(shù)有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06N3/04
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 安衛(wèi)靜

本發(fā)明提供了一種視頻質(zhì)量的預測方法、裝置及服務器，涉及神經(jīng)網(wǎng)絡(luò)技術(shù)領(lǐng)域，包括：獲取待預測視頻數(shù)據(jù)；通過特征提取網(wǎng)絡(luò)對待預測視頻數(shù)據(jù)進行特征提取，得到待預測視頻數(shù)據(jù)的多層視頻特征；基于各層視頻特征對待預測視頻數(shù)據(jù)進行質(zhì)量預測，得到待預測視頻數(shù)據(jù)的視頻質(zhì)量結(jié)果。本發(fā)明可以有效提高視頻質(zhì)量預測結(jié)果的準確程度。

技術(shù)領(lǐng)域

本發(fā)明涉及神經(jīng)網(wǎng)絡(luò)技術(shù)領(lǐng)域，尤其是涉及一種視頻質(zhì)量的預測方法、裝置及服務器。

背景技術(shù)

隨著多媒體技術(shù)的發(fā)展，網(wǎng)絡(luò)數(shù)據(jù)(比如圖片、視頻、文字等)呈現(xiàn)爆炸式增長。其中，視頻作為信息傳播的主要載體，在視頻采集、編碼、傳輸?shù)拳h(huán)節(jié)通常面臨著很多質(zhì)量損失，然而低質(zhì)量視頻會嚴重降低人眼視覺觀感，因此，如何有效預測視頻質(zhì)量具有非常重要的意義。目前，相關(guān)技術(shù)中提出基于人工方式或深度學習方式提取視頻的特征對視頻質(zhì)量進行預測，對于基于深度學習方式提取視頻的特征對視頻質(zhì)量進行預測這一方式，通常僅對最后一層特征圖求取全局平均池化特征，并基于全局平均池化特征得到視頻的質(zhì)量預測結(jié)果，但是由于最后一層特征圖不足以表征視頻質(zhì)量特征，因此將導致視頻的質(zhì)量預測結(jié)果存在準確度較差的問題。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明的目的在于提供一種視頻質(zhì)量的預測方法、裝置及服務器，可以有效提高視頻質(zhì)量預測結(jié)果的準確程度。

第一方面，本發(fā)明實施例提供了一種視頻質(zhì)量的預測方法，包括：獲取待預測視頻數(shù)據(jù)；通過特征提取網(wǎng)絡(luò)對所述待預測視頻數(shù)據(jù)進行特征提取，得到所述待預測視頻數(shù)據(jù)的多層視頻特征；其中，各層所述視頻特征分別用于表征所述待預測視頻數(shù)據(jù)的低層特征或高層特征；基于各層所述視頻特征對所述待預測視頻數(shù)據(jù)進行質(zhì)量預測，得到所述待預測視頻數(shù)據(jù)的視頻質(zhì)量結(jié)果。

在一種實施方式中，所述特征提取網(wǎng)絡(luò)包括多個卷積層；所述通過特征提取網(wǎng)絡(luò)對所述待預測視頻數(shù)據(jù)進行特征提取，得到所述待預測視頻數(shù)據(jù)的多層視頻特征的步驟，包括：將所述待預測視頻數(shù)據(jù)輸入至所述特征提取網(wǎng)絡(luò)，將所述特征提取網(wǎng)絡(luò)中各個指定卷積層基于所述待預測視頻數(shù)據(jù)輸出的特征，作為所述待預測視頻數(shù)據(jù)的多層視頻特征。

在一種實施方式中，所述基于各層所述視頻特征對所述待預測視頻數(shù)據(jù)進行質(zhì)量預測，得到所述待預測視頻數(shù)據(jù)的視頻質(zhì)量結(jié)果的步驟，包括：通過金字塔池化網(wǎng)絡(luò)對各層所述視頻特征分別進行池化處理，得到各層所述視頻特征分別對應的多個金字塔池化特征；通過視頻質(zhì)量評價網(wǎng)絡(luò)基于各個所述金字塔池化特征對所述待預測視頻數(shù)據(jù)進行質(zhì)量預測，得到所述待預測視頻數(shù)據(jù)的視頻質(zhì)量結(jié)果。

在一種實施方式中，所述金字塔池化網(wǎng)絡(luò)包括均值池化子網(wǎng)絡(luò)、最大值池化子網(wǎng)絡(luò)和標準差池化子網(wǎng)絡(luò)；所述金字塔池化特征包括均值池化特征、最大值池化特征和標準差池化特征；所述通過金字塔池化網(wǎng)絡(luò)對各層所述視頻特征分別進行池化處理，得到各層所述視頻特征分別對應的多個金字塔池化特征的步驟，包括：通過所述均值池化子網(wǎng)絡(luò)對各層所述視頻特分別進行均值池化處理，得到各層所述視頻特征分別對應的多個均值池化特征；以及，通過所述最大值池化子網(wǎng)絡(luò)對各層所述視頻特征分別進行最大值池化處理，得到各層所述視頻特征分別對應的多個最大值池化特征；以及，通過所述標準差池化子網(wǎng)絡(luò)對各層所述視頻特征分別進行標準差池化處理，得到各層所述視頻特征分別對應的多個標準差池化特征。

在一種實施方式中，所述視頻質(zhì)量評價網(wǎng)絡(luò)包括前饋質(zhì)量評價網(wǎng)絡(luò)，所述前饋質(zhì)量評價網(wǎng)絡(luò)包括多個全連接組和一個第一全連接層，每個所述全連接組均包括相連的第二全連接層、激活層、歸一化層和Dropout層；所述通過視頻質(zhì)量評價網(wǎng)絡(luò)基于各個所述金字塔池化特征對所述待預測視頻數(shù)據(jù)進行質(zhì)量預測，得到所述待預測視頻數(shù)據(jù)的視頻質(zhì)量結(jié)果的步驟，包括：將各個金字塔池化特征進行平均處理，得到平均處理后的金字塔池化特征；將所述平均處理后的金字塔池化特征輸入至所述前饋質(zhì)量評價網(wǎng)絡(luò)，以使所述前饋質(zhì)量評價網(wǎng)絡(luò)基于所述平均處理后的金字塔池化特征輸出所述待預測視頻數(shù)據(jù)的視頻質(zhì)量結(jié)果。