[發明專利]基于深層次時空信息的無參考視頻質量評價方法

在審

• 申請號: 202011637358.7
• 申請日: 2020-12-31
• 公開（公告）號: CN112784698A
• 公開（公告）日: 2021-05-11
• 發明（設計）人: 殷海兵;劉銀豪;周曉飛;王鴻奎
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08
• 代理公司: 杭州浙科專利事務所(普通合伙) 33213
• 代理人: 楊小凡

本發明公開了基于深層次時空信息的無參考視頻質量評價方法，包括如下步驟：S1，內容感知特征提取，利用Resnet?50預訓練的深度神經網絡，提取頂層的語義層特征后進行聚合，對特征圖進行均值聚合與標準差聚合；S2，對時間記憶效應進行建模，在特征整合方面，采用GRU網絡對長期依賴關系進行建模，在質量聚合方面，提出主觀啟發的時間池化模型并將其嵌入到網絡中；現有的NR?VQA方法無法很好地對VQA任務中的長期依賴關系建模，為了解決這個問題，我們求助于GRU，它是帶有門控制的遞歸神經網絡模型，能夠集成特征并學習長期依賴關系，本發明中使用GRU集成內容感知功能并預測逐幀質量得分。

技術領域

本發明涉及圖像、視頻處理技術領域，尤其是涉及一種基于深度卷積網絡的無參考視頻質量評價方法。

背景技術

隨著具有拍照錄像功能的可穿戴設備、智能手機與平板電腦的普及，視頻信息的獲取和存儲變得越來越容易，人們可以隨意拍攝不同時長的視頻信息，其中不乏大量的失真視頻，這極大的影響觀眾的視覺體驗。在整個視頻鏈路中，大部分模塊都可以精確度量，如采集、上傳、預處理、轉碼、分發等。然而未知的部分卻恰恰是最關鍵的部分，即用戶的視頻觀看體驗到底怎么樣。目前行業內的視頻質量評估方法分為兩大類：客觀質量評估與主觀質量評估。主觀評價方式通過人類視覺系統進行評價，較準確，但不穩定，耗時，且成本較高，難以操作。客觀評價方法對人進行建模，通過模型評價圖像質量，具有批量處理、結果穩定和可重現的優點。近年來，如何利用計算機技術模擬人類視覺注意力評價機制，正確評價視頻質量成為當前研究的熱點。在過去的十年中，研究人員提出了眾多的評價模型，并應用到很多領域，如圖像/視頻降噪、圖像/視頻壓縮編碼、圖像/視頻風格遷移等。同時，我們也要注意隨著自媒體的傳播，拍攝視頻存在不確定且混合的失真，而這無疑增加了該領域的研究難度。

視頻質量評價對象不受限于對象的類別、尺寸大小、失真類型、個數等，這些不確定因素使得它成為目前計算機視覺和人工智能領域中的一個難題。在傳統做法中，研究人員根據提取視頻中的抽象特征來表示圖像。這些特征包括：對比度、亮度、顏色分布、運動光流等，但在復雜的場景中，傳統方法往往不夠準確。這是因為這些觀察往往限于低級別的特征(例如，顏色和對比度等)，而不能準確描述人眼對于視頻質量的復雜感知。

近年來，深度卷積神經網絡(Convolutional Neural Network,CNN)廣泛運用于計算機視覺的各個領域，很多困難的視覺問題都獲得了重大的進展。不同于傳統方法，深度卷積網絡可以從大量的樣本中建模并且自動地、端到端地學習到更為本質的特征，從而有效地避免了傳統人工建模和設計特征的弊端。在視頻質量評價領域，深度卷積網絡也被廣泛地使用，并且大幅度地提高了視頻質量評價的準確性和泛化性，但是由于深度網絡需要大量運用的池化操作(例如max-pooling和average-pooling)編碼上下文信息，這些方法總是不能很好地保存視頻中深層次的信息，即得到提取的視頻特征僅僅涉及淺層的語義特征與時域相關信息。而事實上，視頻中幀內與幀間的深層次相關信息十分重要，我們人眼對視頻的感知與評價是一個十分復雜的過程，單憑一個簡單的頂層語義與簡單的循環卷積神經網絡是不夠的。同時，忽略這些深層次的時空信息，往往只能得到次優的結果。

幸運的是，隨著深度學習技術的發展，其已成功應用于許多計算機視覺任務中，例如物體檢測、語義分割和視頻質量評價領域。最近，研究發現將深度卷積網絡引入到視頻質量評價中，探索時空聯合域的深層次時空信息，極大地提升了視頻評價的性能。

在具體實現中，仍存在如下技術問題：

1.內容感知特征提取模塊僅僅提取了最頂層的特征。然而在主觀實驗中，實驗對象不僅僅關注最頂層的語義特征，在不同的圖像中，所關注的圖像特征也不同，圖像的特征包括邊緣、細節等。這導致評價的時候所得到的信息不夠全面。

2.對于全局的時序信息，僅僅考慮使用單向的GRU。在主觀實驗當中，實驗對象對于當前幀的質量評價不僅僅受之前幀影響，實際上也受到后續幀的影響。因此，單純考慮單向的GRU得到的結果是不準確的。