[發明專利]一種基于生成對抗網絡的無參考視頻質量評價方法及裝置

有效

• 申請號: 202010161674.5
• 申請日: 2020-03-10
• 公開（公告）號: CN111369548B
• 公開（公告）日: 2023-06-06
• 發明（設計）人: 桑慶兵;朱澤;殷瑩;孫俊;吳小俊
• 申請（專利權）人: 江南大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06V10/46;G06V10/80;G06V10/82;G06N3/045;G06N3/0464;G06N3/0475;G06N3/094
• 代理公司: 無錫盛陽專利商標事務所(普通合伙) 32227
• 代理人: 顧吉云;黃瑩

1.一種基于生成對抗網絡的無參考視頻質量評價方法，其包括以下步驟：

S1：獲取失真視頻和原始參考視頻，分別抽取所述失真視頻、所述原始參考視頻的視頻幀，得到失真視頻幀、原始參考視頻幀；將所述失真視頻幀、所述原始參考視頻幀的格式轉換成指定的圖片格式；

其特征在于：

S2：分別按照指定的像素數將所述失真視頻幀、所述原始參考視頻幀切塊，同時將切塊后的失真視頻幀按照指定的壓縮比率進行壓縮，獲得失真視頻幀塊、原始參考視頻幀塊；

S3：構建生成對抗網絡模型；所述生成對抗網絡模型包括：生成網絡、判別網絡；

所述生成網絡的輸入為所述失真視頻幀塊，通過卷積和上采樣得到所述失真視頻幀塊對應的復原的視頻幀塊；

所述判別網絡的輸入為所述生成網絡生成的所述復原的視頻幀塊；

所述判別網絡判斷所述復原的視頻幀塊是否屬于參考視頻幀塊；對于所述判別網絡判斷為不屬于參考視頻幀塊的所述復原的視頻幀塊繼續輸入到所述生成網絡中進行復原；

S4：訓練所述生成對抗網絡模型，得到訓練好的所述生成對抗網絡模型；

通過所述失真視頻幀塊訓練所述生成網絡，得到訓練好的所述生成網絡；

將所述復原的視頻幀塊和所述原始參考視頻幀塊作為輸入訓練所述判別網絡，得到訓練好的所述判別網絡；

S5：對于所述判別網絡判斷為屬于參考視頻幀塊的所述復原的視頻幀塊，獲取其顯著圖，記做復原視頻幀塊的顯著圖；

S6:構建并訓練視頻質量評價網絡模型；

所述視頻質量評價網絡模型的輸入為所述失真視頻幀塊和與其對應的所述復原視頻幀塊的顯著圖；

將所述失真視頻幀塊和與其對應的所述復原視頻幀塊的顯著圖進行融合拼接，輸入到所述視頻質量評價網絡模型中，提取融合圖的空域特征后，利用所述視頻質量評價網絡模型中的全連接層預測失真視頻幀塊的質量分數，得到所述失真視頻幀塊對應的質量分數；

將所述失真視頻幀塊和與其對應的所述復原視頻幀塊的顯著圖訓練所述視頻質量評價網絡模型，獲得訓練好的所述視頻質量評價網絡模型；

S7：將待評價失真視頻進行抽幀、切塊和壓縮，得到所有的待評價失真視頻幀塊；

將每一個所述待評價失真視頻幀塊輸入到訓練好的所述生成對抗網絡模型中，獲得其對應的復原視頻幀塊；基于所述復原視頻幀塊提取待評價顯著圖；將所述待評價失真視頻幀塊、所述待評價顯著圖輸入到訓練好的所述視頻質量評價網絡模型中，得到所述待評價失真視頻幀塊對應的質量分數；

所述待評價失真視頻的質量分數為所有的所述待評價失真視頻幀塊的質量分數的平均值。

2.根據權利要求1所述一種基于生成對抗網絡的無參考視頻質量評價方法，其特征在于：所述生成網絡包括3個卷積層、20個殘差模塊、2個上采樣模塊；在第一個卷積層和第二個卷積層之間設置20個所述殘差模塊，在第二個卷積層和第三個卷積層之間設置2個所述上采樣模塊；每個所述殘差模塊包括依次連接的2個卷積層，每個所述上采樣模塊包括依次連接的1個卷積層和1個上采樣層；每個卷積層都采用3×3大小的卷積核；

所述判別網絡包括依次連接的11個卷積層和2個全連接層；每個卷積層都采用3×3大小的卷積核，所述判別網絡中第一個全連接層單元個數設置為512，第二個全連接層單元個數設置為1。

3.根據權利要求1所述一種基于生成對抗網絡的無參考視頻質量評價方法，其特征在于：步驟S4中，訓練所述生成對抗網絡模型時，網絡模型參數初始化設置為：訓練批量大小設為10，所述生成網絡的損失函數設為均方誤差函數，所述判別網絡的損失函數設為二分類交叉熵函數。

4.根據權利要求1所述一種基于生成對抗網絡的無參考視頻質量評價方法，其特征在于：所述視頻質量評價網絡模型包括5個卷積層，2個池化層以及1個全連接層；在第二個卷積層和第三個卷積層之間設置一個池化層，在第四個卷積層和第五個卷積層之間設置一個池化層，全連接層設置在第五個卷積層之后；每個卷積層都采用3×3大小的卷積核，每個池化層采用最大池化，全連接層單元個數設置為1；所述視頻質量評價網絡模型的參數初始化設置為：學習率設為0.00001，訓練批量大小設為10，網絡中偏置項進行全零初始化。