[發明專利]視頻質量預測方法和裝置及電子設備

有效

• 申請號: 201911149140.4
• 申請日: 2019-11-21
• 公開（公告）號: CN110958467B
• 公開（公告）日: 2020-12-29
• 發明（設計）人: 李馬丁;王斌;錢立輝;章佳杰;鄭云飛;于冰
• 申請（專利權）人: 清華大學;北京達佳互聯信息技術有限公司
• 主分類號: H04N21/234
• 分類號: H04N21/234;H04N21/44;G06K9/62;G06N3/08
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 路曉丹

本公開提供一種視頻質量預測方法和裝置及電子設備，包括：從視頻流采集包括多個視頻塊的視頻包，根據視頻流標簽確定視頻包的失真分類標簽或非失真分類標簽；根據對視頻包的標注結果確定視頻包的評分值；將視頻包的多個視頻塊作為訓練數據輸入分類預測模型，利用分類預測模型進行分類預測和評分值預測，以輸出該視頻包的失真分類標簽、非失真分類標簽和評分值為目標進行分類預測模型的參數調整；利用參數調整結束后得到的質量預測模型，對從待質量預測的視頻流中采集的視頻包進行分類預測和分數預測。本公開可以解決現有的視頻質量評價方法不區分均勻失真和非均勻失真的問題，對于非均勻失真的視頻質量評價結果更準確。

技術領域

本公開涉及視頻質量預測技術領域，特別涉及一種視頻質量預測方法和裝置及電子設備。

背景技術

如今，視頻在人類日常生活中變得越來越重要，各類視頻需要一定的清晰度同時也要考慮帶寬成本，因此視頻壓縮技術應用越來越廣泛，視頻壓縮技術分為有損和無損壓縮技術。

一方面，有損壓縮技術不可避免地降低了視頻質量；另一方面，網絡傳輸錯誤，也會導致視頻數據的某些部分出現數據錯誤。由于上述兩方面的原因導致在視頻傳輸場景下出現失真視頻。

從海量的傳輸視頻中檢測出失真的視頻，人工方式費時費力。視頻質量專家組(Video Quality Experts Group，VQEG)提出了自動監測視頻質量的算法，自動檢測視頻質量的算法如視頻質量評價(Video Quality Assessment，VQA)算法逐漸得到應用。

現有的VQA方法可以分為三大類：全參考(Fully reference，FR)、半參考(ReducedReference，RR)和無參考(No Reference，NR)質量評價算法。在FR質量評價算法中，將原始視頻作為參考視頻進行對比；在NR質量評價算法，參考視頻不可用，直接通過當前視頻預測視頻質量；RR質量評價算法則介于這兩者之間。

FR和RR質量評價算法，由于需要借助參考視頻因此對額外占用帶寬或參考視頻可能無法查找的原因，不適用于目前的海量視頻數據的質量評價。而NR質量評價算法由于不需要任何關于參考視頻的信息，被應用越來越廣泛。

采用NR質量評價算法進行失真預測時，利用機器學習方法訓練質量評價模型，在模型訓練過程中，將帶失真標簽的視頻和非視頻標簽的視頻作為訓練樣本，對質量評價模型進行訓練。

失真分為均勻失真類型和非均勻失真類型，均勻失真類型的視頻各處的失真程度是幾乎一致的，而非均勻失真的視頻在不同幀、不同位置的失真程度各不相同，甚至存在清晰的部分。如圖1所示為均勻失真圖像與參考圖像的對比圖，圖2中a和b為非均勻失真圖像與參考圖像的對比圖，其中僅在圖中標注的部分存在失真，其他區域為非失真區域。

但是目前的機器學習的方法都存在共同的問題，即訓練過程中通常不區分均勻和非均勻的失真。在模型訓練的過程中，會將采集的視頻圖像幀劃分成視頻塊并打上對應的標簽，目前的方式為簡單的把整個視頻圖像幀的標簽賦值給了每一個切割出的視頻塊。而對于非均勻失真類型的視頻圖像幀來說，每一個視頻塊和整個視頻圖像幀的標簽并不等價，失真程度較少的失真視頻圖像幀往往包含一些清晰的視頻塊。這樣就會導致訓練數據產生歧義：來自失真視頻的清晰塊和來自清晰視頻的清晰塊共享了“清晰”的標簽，這對于機器學習來說是致命的，會導致訓練不穩定、不易收斂、預測性能降低等影響。

因此上述方式建立的質量評價模型在均勻失真的視頻圖像幀預測上表現良好，但是在非均勻失真的視頻圖像幀預測上效果比較差。

發明內容

本公開提供了一種視頻質量預測方法和裝置及電子設備，用以解決質量評價模型不區分均勻失真視頻和費均勻失真視頻，在均勻失真的視頻圖像幀預測上表現良好，但是在非均勻失真的視頻圖像幀預測上效果比較差的問題。

根據本公開實施例的第一方面，提供一種視頻質量預測方法，該方法包括：