[發(fā)明專利]一種基于生成對抗網(wǎng)絡(luò)的無參考視頻質(zhì)量評價方法及裝置

有效

• 申請?zhí)枺?/td>: 202010161674.5
• 申請日: 2020-03-10
• 公開（公告）號: CN111369548B
• 公開（公告）日: 2023-06-06
• 發(fā)明（設(shè)計）人: 桑慶兵;朱澤;殷瑩;孫俊;吳小俊
• 申請（專利權(quán)）人: 江南大學(xué)
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06V10/46;G06V10/80;G06V10/82;G06N3/045;G06N3/0464;G06N3/0475;G06N3/094
• 代理公司: 無錫盛陽專利商標(biāo)事務(wù)所(普通合伙) 32227
• 代理人: 顧吉云;黃瑩

1.一種基于生成對抗網(wǎng)絡(luò)的無參考視頻質(zhì)量評價方法，其包括以下步驟：

S1：獲取失真視頻和原始參考視頻，分別抽取所述失真視頻、所述原始參考視頻的視頻幀，得到失真視頻幀、原始參考視頻幀；將所述失真視頻幀、所述原始參考視頻幀的格式轉(zhuǎn)換成指定的圖片格式；

其特征在于：

S2：分別按照指定的像素數(shù)將所述失真視頻幀、所述原始參考視頻幀切塊，同時將切塊后的失真視頻幀按照指定的壓縮比率進(jìn)行壓縮，獲得失真視頻幀塊、原始參考視頻幀塊；

S3：構(gòu)建生成對抗網(wǎng)絡(luò)模型；所述生成對抗網(wǎng)絡(luò)模型包括：生成網(wǎng)絡(luò)、判別網(wǎng)絡(luò)；

所述生成網(wǎng)絡(luò)的輸入為所述失真視頻幀塊，通過卷積和上采樣得到所述失真視頻幀塊對應(yīng)的復(fù)原的視頻幀塊；

所述判別網(wǎng)絡(luò)的輸入為所述生成網(wǎng)絡(luò)生成的所述復(fù)原的視頻幀塊；

所述判別網(wǎng)絡(luò)判斷所述復(fù)原的視頻幀塊是否屬于參考視頻幀塊；對于所述判別網(wǎng)絡(luò)判斷為不屬于參考視頻幀塊的所述復(fù)原的視頻幀塊繼續(xù)輸入到所述生成網(wǎng)絡(luò)中進(jìn)行復(fù)原；

S4：訓(xùn)練所述生成對抗網(wǎng)絡(luò)模型，得到訓(xùn)練好的所述生成對抗網(wǎng)絡(luò)模型；

通過所述失真視頻幀塊訓(xùn)練所述生成網(wǎng)絡(luò)，得到訓(xùn)練好的所述生成網(wǎng)絡(luò)；

將所述復(fù)原的視頻幀塊和所述原始參考視頻幀塊作為輸入訓(xùn)練所述判別網(wǎng)絡(luò)，得到訓(xùn)練好的所述判別網(wǎng)絡(luò)；

S5：對于所述判別網(wǎng)絡(luò)判斷為屬于參考視頻幀塊的所述復(fù)原的視頻幀塊，獲取其顯著圖，記做復(fù)原視頻幀塊的顯著圖；

S6:構(gòu)建并訓(xùn)練視頻質(zhì)量評價網(wǎng)絡(luò)模型；

所述視頻質(zhì)量評價網(wǎng)絡(luò)模型的輸入為所述失真視頻幀塊和與其對應(yīng)的所述復(fù)原視頻幀塊的顯著圖；

將所述失真視頻幀塊和與其對應(yīng)的所述復(fù)原視頻幀塊的顯著圖進(jìn)行融合拼接，輸入到所述視頻質(zhì)量評價網(wǎng)絡(luò)模型中，提取融合圖的空域特征后，利用所述視頻質(zhì)量評價網(wǎng)絡(luò)模型中的全連接層預(yù)測失真視頻幀塊的質(zhì)量分?jǐn)?shù)，得到所述失真視頻幀塊對應(yīng)的質(zhì)量分?jǐn)?shù)；

將所述失真視頻幀塊和與其對應(yīng)的所述復(fù)原視頻幀塊的顯著圖訓(xùn)練所述視頻質(zhì)量評價網(wǎng)絡(luò)模型，獲得訓(xùn)練好的所述視頻質(zhì)量評價網(wǎng)絡(luò)模型；

S7：將待評價失真視頻進(jìn)行抽幀、切塊和壓縮，得到所有的待評價失真視頻幀塊；

將每一個所述待評價失真視頻幀塊輸入到訓(xùn)練好的所述生成對抗網(wǎng)絡(luò)模型中，獲得其對應(yīng)的復(fù)原視頻幀塊；基于所述復(fù)原視頻幀塊提取待評價顯著圖；將所述待評價失真視頻幀塊、所述待評價顯著圖輸入到訓(xùn)練好的所述視頻質(zhì)量評價網(wǎng)絡(luò)模型中，得到所述待評價失真視頻幀塊對應(yīng)的質(zhì)量分?jǐn)?shù)；

所述待評價失真視頻的質(zhì)量分?jǐn)?shù)為所有的所述待評價失真視頻幀塊的質(zhì)量分?jǐn)?shù)的平均值。

2.根據(jù)權(quán)利要求1所述一種基于生成對抗網(wǎng)絡(luò)的無參考視頻質(zhì)量評價方法，其特征在于：所述生成網(wǎng)絡(luò)包括3個卷積層、20個殘差模塊、2個上采樣模塊；在第一個卷積層和第二個卷積層之間設(shè)置20個所述殘差模塊，在第二個卷積層和第三個卷積層之間設(shè)置2個所述上采樣模塊；每個所述殘差模塊包括依次連接的2個卷積層，每個所述上采樣模塊包括依次連接的1個卷積層和1個上采樣層；每個卷積層都采用3×3大小的卷積核；

所述判別網(wǎng)絡(luò)包括依次連接的11個卷積層和2個全連接層；每個卷積層都采用3×3大小的卷積核，所述判別網(wǎng)絡(luò)中第一個全連接層單元個數(shù)設(shè)置為512，第二個全連接層單元個數(shù)設(shè)置為1。

3.根據(jù)權(quán)利要求1所述一種基于生成對抗網(wǎng)絡(luò)的無參考視頻質(zhì)量評價方法，其特征在于：步驟S4中，訓(xùn)練所述生成對抗網(wǎng)絡(luò)模型時，網(wǎng)絡(luò)模型參數(shù)初始化設(shè)置為：訓(xùn)練批量大小設(shè)為10，所述生成網(wǎng)絡(luò)的損失函數(shù)設(shè)為均方誤差函數(shù)，所述判別網(wǎng)絡(luò)的損失函數(shù)設(shè)為二分類交叉熵函數(shù)。

4.根據(jù)權(quán)利要求1所述一種基于生成對抗網(wǎng)絡(luò)的無參考視頻質(zhì)量評價方法，其特征在于：所述視頻質(zhì)量評價網(wǎng)絡(luò)模型包括5個卷積層，2個池化層以及1個全連接層；在第二個卷積層和第三個卷積層之間設(shè)置一個池化層，在第四個卷積層和第五個卷積層之間設(shè)置一個池化層，全連接層設(shè)置在第五個卷積層之后；每個卷積層都采用3×3大小的卷積核，每個池化層采用最大池化，全連接層單元個數(shù)設(shè)置為1；所述視頻質(zhì)量評價網(wǎng)絡(luò)模型的參數(shù)初始化設(shè)置為：學(xué)習(xí)率設(shè)為0.00001，訓(xùn)練批量大小設(shè)為10，網(wǎng)絡(luò)中偏置項(xiàng)進(jìn)行全零初始化。