[發(fā)明專利]一種視頻質(zhì)量評(píng)估方法、裝置及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202111179431.5
• 申請(qǐng)日: 2021-10-09
• 公開（公告）號(hào): CN113902992A
• 公開（公告）日: 2022-01-07
• 發(fā)明（設(shè)計(jì)）人: 甘津瑞;盧衛(wèi)疆;張國梁;張祥全;張馴
• 申請(qǐng)（專利權(quán)）人: 全球能源互聯(lián)網(wǎng)研究院有限公司;國網(wǎng)甘肅省電力公司;國網(wǎng)甘肅省電力公司電力科學(xué)研究院;國家電網(wǎng)有限公司
• 主分類號(hào): G06V20/40
• 分類號(hào): G06V20/40;G06V10/40;G06V10/62;G06V10/98;G06V10/764;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京三聚陽光知識(shí)產(chǎn)權(quán)代理有限公司 11250
• 代理人: 李靜玉

1.一種視頻質(zhì)量評(píng)估方法，其特征在于，包括：

獲取視頻數(shù)據(jù)；

根據(jù)空間金字塔采樣對(duì)所述視頻數(shù)據(jù)進(jìn)行處理，得到子視頻數(shù)據(jù)；

對(duì)所述子視頻數(shù)據(jù)進(jìn)行RGB流分析和梯度流分析，得到RGB視頻數(shù)據(jù)和梯度視頻數(shù)據(jù)；

對(duì)所述RGB視頻數(shù)據(jù)和梯度視頻數(shù)據(jù)進(jìn)行時(shí)空建模，得到所述視頻數(shù)據(jù)的隱向量；

將所述隱向量輸入至輸出層中，得到所述視頻數(shù)據(jù)的評(píng)估結(jié)果。

2.根據(jù)權(quán)利要求1所述的視頻質(zhì)量評(píng)估方法，其特征在于，根據(jù)空間金字塔采樣對(duì)所述視頻數(shù)據(jù)進(jìn)行處理，得到子視頻數(shù)據(jù)，包括：

對(duì)所述視頻數(shù)據(jù)的每幀圖像進(jìn)行空間金字塔分區(qū)，得到每幀圖像的多個(gè)區(qū)塊圖像；

根據(jù)每幀圖像之間的時(shí)間連續(xù)性，將多個(gè)區(qū)塊分別進(jìn)行連接，得到所述視頻數(shù)據(jù)的子視頻數(shù)據(jù)。

3.根據(jù)權(quán)利要求2所述的視頻質(zhì)量評(píng)估方法，其特征在于，所述空間金字塔分區(qū)采用2^L×2^L對(duì)每幀圖像進(jìn)行分區(qū)，L＝0，1，2。

4.根據(jù)權(quán)利要求1所述的視頻質(zhì)量評(píng)估方法，其特征在于，對(duì)所述RGB視頻數(shù)據(jù)和梯度視頻數(shù)據(jù)進(jìn)行時(shí)空建模，得到所述視頻數(shù)據(jù)的隱向量，包括：

根據(jù)深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)所述RGB視頻數(shù)據(jù)和梯度視頻數(shù)據(jù)進(jìn)行時(shí)空特征提取，得到相應(yīng)子視頻數(shù)據(jù)的特征序列；

根據(jù)自動(dòng)編碼器對(duì)所述特征序列進(jìn)行特征轉(zhuǎn)換；

根據(jù)循環(huán)神經(jīng)網(wǎng)絡(luò)對(duì)特征轉(zhuǎn)換后的特征序列進(jìn)行計(jì)算，得到所述視頻數(shù)據(jù)的隱向量。

5.根據(jù)權(quán)利要求4所述的視頻質(zhì)量評(píng)估方法，其特征在于，

所述深度卷積神經(jīng)網(wǎng)絡(luò)為三維卷積神經(jīng)網(wǎng)絡(luò)，所述三維卷積神經(jīng)網(wǎng)絡(luò)包括三維卷積層和平均池化層；

所述循環(huán)神經(jīng)網(wǎng)絡(luò)為長短期記憶網(wǎng)絡(luò)。

6.根據(jù)權(quán)利要求1所述的視頻質(zhì)量評(píng)估方法，其特征在于，

所述輸出層包括兩個(gè)全連接層和一個(gè)softmax層。

7.一種視頻質(zhì)量評(píng)估裝置，其特征在于，包括：

數(shù)據(jù)獲取模塊，用于獲取視頻數(shù)據(jù)；

處理模塊，用于根據(jù)空間金字塔采樣對(duì)所述視頻數(shù)據(jù)進(jìn)行處理，得到子視頻數(shù)據(jù)；

分析模塊，用于對(duì)所述子視頻數(shù)據(jù)進(jìn)行RGB流分析和梯度流分析，得到RGB視頻數(shù)據(jù)和梯度視頻數(shù)據(jù)；

時(shí)空建模模塊，用于對(duì)所述RGB視頻數(shù)據(jù)和梯度視頻數(shù)據(jù)進(jìn)行時(shí)空建模，得到所述視頻數(shù)據(jù)的隱向量；

評(píng)估模塊，用于將所述隱向量輸入至輸出層中，得到所述視頻數(shù)據(jù)的評(píng)估結(jié)果。

8.根據(jù)權(quán)利要求7所述的視頻質(zhì)量評(píng)估裝置，其特征在于，所述時(shí)空建模模塊包括：

特征提取模塊，用于根據(jù)深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)所述RGB視頻數(shù)據(jù)和梯度視頻數(shù)據(jù)進(jìn)行時(shí)空特征提取，得到相應(yīng)子視頻數(shù)據(jù)的特征序列；

特征轉(zhuǎn)換模塊，用于根據(jù)自動(dòng)編碼器對(duì)所述特征序列進(jìn)行特征轉(zhuǎn)換；

隱向量計(jì)算模塊，用于根據(jù)循環(huán)神經(jīng)網(wǎng)絡(luò)對(duì)特征轉(zhuǎn)換后的特征序列進(jìn)行計(jì)算，得到所述視頻數(shù)據(jù)的隱向量。

9.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)指令，所述計(jì)算機(jī)指令用于使所述計(jì)算機(jī)執(zhí)行如權(quán)利要求1－6任一項(xiàng)所述的視頻質(zhì)量評(píng)估方法。

10.一種電子設(shè)備，其特征在于，包括：存儲(chǔ)器和處理器，所述存儲(chǔ)器和所述處理器之間互相通信連接，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)指令，所述處理器通過執(zhí)行所述計(jì)算機(jī)指令，從而執(zhí)行如權(quán)利要求1－6任一項(xiàng)所述的視頻質(zhì)量評(píng)估方法。