[發(fā)明專利]視頻質(zhì)量的預(yù)測(cè)方法、裝置及服務(wù)器

在審

• 申請(qǐng)?zhí)枺?/td>: 202011522537.6
• 申請(qǐng)日: 2020-12-21
• 公開（公告）號(hào): CN112669270A
• 公開（公告）日: 2021-04-16
• 發(fā)明（設(shè)計(jì)）人: 魯方波;汪賢;樊鴻飛;蔡媛
• 申請(qǐng)（專利權(quán)）人: 北京金山云網(wǎng)絡(luò)技術(shù)有限公司
• 主分類號(hào): G06T7/00
• 分類號(hào): G06T7/00;G06N3/04
• 代理公司: 北京超凡宏宇專利代理事務(wù)所(特殊普通合伙) 11463
• 代理人: 安衛(wèi)靜

1.一種視頻質(zhì)量的預(yù)測(cè)方法，其特征在于，包括：

獲取待預(yù)測(cè)視頻數(shù)據(jù)；

通過特征提取網(wǎng)絡(luò)對(duì)所述待預(yù)測(cè)視頻數(shù)據(jù)進(jìn)行特征提取，得到所述待預(yù)測(cè)視頻數(shù)據(jù)的多層視頻特征；其中，各層所述視頻特征分別用于表征所述待預(yù)測(cè)視頻數(shù)據(jù)的低層特征或高層特征；

基于各層所述視頻特征對(duì)所述待預(yù)測(cè)視頻數(shù)據(jù)進(jìn)行質(zhì)量預(yù)測(cè)，得到所述待預(yù)測(cè)視頻數(shù)據(jù)的視頻質(zhì)量結(jié)果。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述特征提取網(wǎng)絡(luò)包括多個(gè)卷積層；

所述通過特征提取網(wǎng)絡(luò)對(duì)所述待預(yù)測(cè)視頻數(shù)據(jù)進(jìn)行特征提取，得到所述待預(yù)測(cè)視頻數(shù)據(jù)的多層視頻特征的步驟，包括：

將所述待預(yù)測(cè)視頻數(shù)據(jù)輸入至所述特征提取網(wǎng)絡(luò)，將所述特征提取網(wǎng)絡(luò)中各個(gè)指定卷積層基于所述待預(yù)測(cè)視頻數(shù)據(jù)輸出的特征，作為所述待預(yù)測(cè)視頻數(shù)據(jù)的多層視頻特征。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述基于各層所述視頻特征對(duì)所述待預(yù)測(cè)視頻數(shù)據(jù)進(jìn)行質(zhì)量預(yù)測(cè)，得到所述待預(yù)測(cè)視頻數(shù)據(jù)的視頻質(zhì)量結(jié)果的步驟，包括：

通過金字塔池化網(wǎng)絡(luò)對(duì)各層所述視頻特征分別進(jìn)行池化處理，得到各層所述視頻特征分別對(duì)應(yīng)的多個(gè)金字塔池化特征；

通過視頻質(zhì)量評(píng)價(jià)網(wǎng)絡(luò)基于各個(gè)所述金字塔池化特征對(duì)所述待預(yù)測(cè)視頻數(shù)據(jù)進(jìn)行質(zhì)量預(yù)測(cè)，得到所述待預(yù)測(cè)視頻數(shù)據(jù)的視頻質(zhì)量結(jié)果。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述金字塔池化網(wǎng)絡(luò)包括均值池化子網(wǎng)絡(luò)、最大值池化子網(wǎng)絡(luò)和標(biāo)準(zhǔn)差池化子網(wǎng)絡(luò)；所述金字塔池化特征包括均值池化特征、最大值池化特征和標(biāo)準(zhǔn)差池化特征；

所述通過金字塔池化網(wǎng)絡(luò)對(duì)各層所述視頻特征分別進(jìn)行池化處理，得到各層所述視頻特征分別對(duì)應(yīng)的多個(gè)金字塔池化特征的步驟，包括：

通過所述均值池化子網(wǎng)絡(luò)對(duì)各層所述視頻特分別進(jìn)行均值池化處理，得到各層所述視頻特征分別對(duì)應(yīng)的多個(gè)均值池化特征；

以及，通過所述最大值池化子網(wǎng)絡(luò)對(duì)各層所述視頻特征分別進(jìn)行最大值池化處理，得到各層所述視頻特征分別對(duì)應(yīng)的多個(gè)最大值池化特征；

以及，通過所述標(biāo)準(zhǔn)差池化子網(wǎng)絡(luò)對(duì)各層所述視頻特征分別進(jìn)行標(biāo)準(zhǔn)差池化處理，得到各層所述視頻特征分別對(duì)應(yīng)的多個(gè)標(biāo)準(zhǔn)差池化特征。

5.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述視頻質(zhì)量評(píng)價(jià)網(wǎng)絡(luò)包括前饋質(zhì)量評(píng)價(jià)網(wǎng)絡(luò)，所述前饋質(zhì)量評(píng)價(jià)網(wǎng)絡(luò)包括多個(gè)全連接組和一個(gè)第一全連接層，每個(gè)所述全連接組均包括相連的第二全連接層、激活層、歸一化層和Dropout層；

所述通過視頻質(zhì)量評(píng)價(jià)網(wǎng)絡(luò)基于各個(gè)所述金字塔池化特征對(duì)所述待預(yù)測(cè)視頻數(shù)據(jù)進(jìn)行質(zhì)量預(yù)測(cè)，得到所述待預(yù)測(cè)視頻數(shù)據(jù)的視頻質(zhì)量結(jié)果的步驟，包括：

將各個(gè)金字塔池化特征進(jìn)行平均處理，得到平均處理后的金字塔池化特征；

將所述平均處理后的金字塔池化特征輸入至所述前饋質(zhì)量評(píng)價(jià)網(wǎng)絡(luò)，以使所述前饋質(zhì)量評(píng)價(jià)網(wǎng)絡(luò)基于所述平均處理后的金字塔池化特征輸出所述待預(yù)測(cè)視頻數(shù)據(jù)的視頻質(zhì)量結(jié)果。

6.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述視頻質(zhì)量評(píng)價(jià)網(wǎng)絡(luò)包括長短期記憶質(zhì)量評(píng)價(jià)網(wǎng)絡(luò)，所述長短期記憶質(zhì)量評(píng)價(jià)網(wǎng)絡(luò)包括多個(gè)長短期記憶子網(wǎng)絡(luò)和一個(gè)第三全連接層；

所述通過視頻質(zhì)量評(píng)價(jià)網(wǎng)絡(luò)基于各個(gè)所述金字塔池化特征對(duì)所述待預(yù)測(cè)視頻數(shù)據(jù)進(jìn)行質(zhì)量預(yù)測(cè)，得到所述待預(yù)測(cè)視頻數(shù)據(jù)的視頻質(zhì)量結(jié)果的步驟，包括：

將各個(gè)所述金字塔池化特征輸入至所述長短期記憶質(zhì)量評(píng)價(jià)網(wǎng)絡(luò)，以使所述長短期記憶質(zhì)量評(píng)價(jià)網(wǎng)絡(luò)基于各個(gè)所述金字塔池化特征輸出所述待預(yù)測(cè)視頻數(shù)據(jù)的視頻質(zhì)量結(jié)果。

7.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述視頻質(zhì)量評(píng)價(jià)網(wǎng)絡(luò)的訓(xùn)練步驟，包括：

獲取訓(xùn)練視頻數(shù)據(jù)；

通過特征提取網(wǎng)絡(luò)對(duì)所述訓(xùn)練視頻數(shù)據(jù)進(jìn)行特征提取，得到所述訓(xùn)練視頻數(shù)據(jù)的多層視頻特征信息；

通過所述金字塔池化網(wǎng)絡(luò)對(duì)各層所述視頻特征信息分別進(jìn)行池化處理，得到各層所述視頻特征信息分別對(duì)應(yīng)的多個(gè)池化特征信息；

獲取各個(gè)所述池化特征信息的主觀質(zhì)量打分；

基于各個(gè)所述池化特征信息和各個(gè)所述池化特征信息對(duì)應(yīng)的主觀質(zhì)量打分對(duì)視頻質(zhì)量評(píng)價(jià)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。