[發(fā)明專利]一種基于生成對抗網(wǎng)絡(luò)的無參考視頻質(zhì)量評價方法及裝置

有效

• 申請?zhí)枺?/td>: 202010161674.5
• 申請日: 2020-03-10
• 公開（公告）號: CN111369548B
• 公開（公告）日: 2023-06-06
• 發(fā)明（設(shè)計）人: 桑慶兵;朱澤;殷瑩;孫俊;吳小俊
• 申請（專利權(quán)）人: 江南大學(xué)
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06V10/46;G06V10/80;G06V10/82;G06N3/045;G06N3/0464;G06N3/0475;G06N3/094
• 代理公司: 無錫盛陽專利商標(biāo)事務(wù)所(普通合伙) 32227
• 代理人: 顧吉云;黃瑩

本發(fā)明提供一種基于生成對抗網(wǎng)絡(luò)的無參考視頻質(zhì)量評價方法，其無需原始視頻信息，方法簡單，適用范圍廣，且分類準(zhǔn)確率高。首先利用生成對抗網(wǎng)絡(luò)恢復(fù)失真視頻幀塊的分辨率，然后將失真視頻幀塊和與其對應(yīng)的復(fù)原的視頻幀塊的顯著圖作為輸入送入到視頻質(zhì)量評價網(wǎng)絡(luò)，對失真視頻幀塊的質(zhì)量進(jìn)行評價。同時本發(fā)明還公布了一種基于生成對抗網(wǎng)絡(luò)的無參考視頻質(zhì)量評價裝置。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，具體為一種基于生成對抗網(wǎng)絡(luò)的無參考視頻質(zhì)量評價方法及裝置。

背景技術(shù)

在視頻的獲取、存儲、處理、傳輸過程中，會因為鏡頭精度不夠、視頻壓縮、傳輸中數(shù)據(jù)丟失等等原因?qū)е乱曨l質(zhì)量損失，進(jìn)而導(dǎo)致最終得到的視頻失真。技術(shù)人員為了讓用戶看到高質(zhì)量的視頻，通常會先對獲得的視頻質(zhì)量進(jìn)行評價，然后根據(jù)視頻質(zhì)量評價的結(jié)果對編碼器、傳輸信道等等硬件參數(shù)進(jìn)行調(diào)整。

現(xiàn)有的對視頻質(zhì)量評價方法分為全參考型、部分參考型、無參考型。全參考型和部分參考型評價方法都需要額外的帶寬來傳輸原始視頻及相關(guān)信息，而無參考質(zhì)量評價方法不需要依賴原始視頻，更具實用性。現(xiàn)有技術(shù)中，很多視頻質(zhì)量評價方法方法是利用卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)提取失真視頻的空域和時域特征，導(dǎo)致方法比較復(fù)雜，比如，目前主流的全參考方法ViS3和無參考方法V-BLIINDS。

ViS3：該方法首先估計視頻序列在空域內(nèi)由失真導(dǎo)致的圖像退化狀況，然后通過度量失真視頻和參考視頻之間的不相似度估計時域和空域視頻質(zhì)量退化，最后結(jié)合上兩個階段預(yù)估整體視頻的客觀質(zhì)量評分；但是因為是全參考類型的方法，所以適用范圍有限；

V-BLIINDS：該方法依賴于在離散余弦變換域上視頻場景的時空模型，以及描述場景中發(fā)生的運動類型的模型來預(yù)測視頻質(zhì)量；該方法提出了一種視頻時空自然場景統(tǒng)計模型和一種量化視頻場景中運動相干性的運動模型；但是該方法對于因視頻壓縮過程中高頻量的損失、攝像機對焦模糊等等原因?qū)е碌囊曨l的質(zhì)量評價效果不佳。

發(fā)明內(nèi)容

為了解決現(xiàn)有的視頻質(zhì)量評價方法應(yīng)用范圍有限、面對壓縮導(dǎo)致的視頻評價能力欠缺的問題，本發(fā)明提供一種基于生成對抗網(wǎng)絡(luò)的無參考視頻質(zhì)量評價方法，其無需原始視頻信息，方法簡單，適用范圍廣，且分類準(zhǔn)確率高。同時本發(fā)明還公布了一種基于生成對抗網(wǎng)絡(luò)的無參考視頻質(zhì)量評價裝置。

本發(fā)明的技術(shù)方案是這樣的：一種基于生成對抗網(wǎng)絡(luò)的無參考視頻質(zhì)量評價方法，其包括以下步驟：

S1：獲取失真視頻和原始參考視頻，分別抽取所述失真視頻、所述原始參考視頻的視頻幀，得到失真視頻幀、原始參考視頻幀；將所述失真視頻幀、所述原始參考視頻幀的格式轉(zhuǎn)換成指定的圖片格式；

其特征在于：

S2：分別按照指定的像素數(shù)將所述失真視頻幀、所述原始參考視頻幀切塊，同時將切塊后的失真視頻幀按照指定的壓縮比率進(jìn)行壓縮，獲得失真視頻幀塊、原始參考視頻幀塊；

S3：構(gòu)建生成對抗網(wǎng)絡(luò)模型；所述生成對抗網(wǎng)絡(luò)模型包括：生成網(wǎng)絡(luò)、判別網(wǎng)絡(luò)；

所述生成網(wǎng)絡(luò)的輸入為所述失真視頻幀塊，通過卷積和上采樣得到所述失真視頻幀塊對應(yīng)的復(fù)原的視頻幀塊；

所述判別網(wǎng)絡(luò)的輸入為所述生成網(wǎng)絡(luò)生成的所述復(fù)原的視頻幀塊；

所述判別網(wǎng)絡(luò)判斷所述復(fù)原視頻塊是否屬于參考視頻幀塊；對于所述判別網(wǎng)絡(luò)判斷為不屬于參考視頻幀塊的所述復(fù)原的視頻幀塊繼續(xù)輸入到所述生成網(wǎng)絡(luò)中進(jìn)行復(fù)原；

S4：訓(xùn)練所述生成對抗網(wǎng)絡(luò)模型，得到訓(xùn)練好的所述生成對抗網(wǎng)絡(luò)模型；

通過所述失真視頻幀塊訓(xùn)練所述生成網(wǎng)絡(luò)，得到訓(xùn)練好的所述生成網(wǎng)絡(luò)；

將所述復(fù)原的視頻幀塊和所述原始參考視頻幀塊作為輸入訓(xùn)練所述判別網(wǎng)絡(luò)，得到訓(xùn)練好的所述判別網(wǎng)絡(luò)；