[發明專利]一種結合JND和VMAF的視頻質量評估方法

在審

• 申請號: 202011135588.3
• 申請日: 2020-10-22
• 公開（公告）號: CN112019840A
• 公開（公告）日: 2020-12-01
• 發明（設計）人: 梅元剛;王明琛;孫作瀟;劉宇新;朱政
• 申請（專利權）人: 杭州微幀信息科技有限公司
• 主分類號: H04N17/00
• 分類號: H04N17/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種結合JND和VMAF的視頻質量評估方法，屬于視頻編碼、視頻質量評價技術領域。本方法根據人眼成像原理建立圖像的JND模型，計算原視頻每幀每像素的JND值，將失真圖像與原圖像在每個像素上的差值與該像素JND值進行對比，如果差值小于JND值的話，就把失真圖像的像素替換成原始圖像的像素。本方法通過替換像素把失真圖像差值低于JND值的像素都替換成原始圖像后，得到新的失真圖像，在新的失真圖像上計算VMAF可以把低于JND值的像素忽略掉，即把人眼不敏感的區域忽略掉，從而使視頻質量評價結果更加接近主觀。

技術領域

本發明涉及視頻編碼、視頻質量評價技術領域，尤其涉及一種結合JND和VMAF的視頻質量評估方法。

背景技術

圖像質量評價是圖像處理中的一個重要環節，圖像質量評價方法分為主觀評價和客觀評價。人眼作為圖像的最終接收器，是對于圖像質量的最真實的反饋者，所以采用人眼直接觀察作為主觀評估圖像質量的方法是最為直接且可靠的評價方法。但是，主觀評價的方法影響因素眾多，需要耗費大量的人力成本和時間成本，且可復制性差，無法應用于實時在線的評價系統。

客觀圖像質量評價算法能較好地嵌入系統，能實現實時評價且成本低，適用于實際應用當中。但是由于現有的客觀圖像質量評價算法沒有考慮到人眼的視覺特性，在一些復雜場景下，往往會出現評估結果與主觀質量評估相差較大的情況，因此，開發出模擬人眼主觀評價的圖像客觀質量評價方法是意義重大的。

目前，HVS研究的一個重要成果是建立了恰可察覺失真（JND）模型，即像素中任何低于JND的誤差不會被人眼所感知，通過JND模型隱藏多視點視頻中大量不可感知的誤差，將有效的改善目前的客觀圖像質量評價算法的評估結果，基于JND的圖像質量評價方案能夠有效的去除時域、空域和感知冗余，使圖像質量評價結果更加接近主觀。

發明內容

本發明提供了結合JND和VMAF進行視頻質量評估的方法。本發明的核心思想在于將主客觀視頻質量評價方法相結合：首先根據人眼成像原理建立圖像的JND模型，計算原視頻每幀每像素的JND值，將失真圖像與原圖像在每個像素上的差值與該像素JND值進行對比，如果差值小于JND值的話，就把失真圖像的像素替換成原始圖像的像素。對失真圖像的每一個像素都進行這樣的操作之后，得到新的失真圖像；進而使用標準VMAF算法對新的失真圖像和原始圖像進行評分，得到該幀的質量評估結果；最后對所有圖像幀的質量評估結果取平均值得到該視頻的質量評估結果。

一種結合JND和VMAF的視頻質量評估方法，其特征在于，包括以下步驟。

步驟1 根據人眼成像原理建立圖像的JND模型。

步驟1.1 篩選一批高清視頻，對其進行壓縮，得到失真的視頻。

步驟1.2 計算高清視頻每幀每像素的JND，用JND(x,y,t)表示。

步驟1.3 計算失真圖像像素和對應的高清圖像像素的差值Diff。

步驟1.4 Diff與JND(x,y,t)進行比較，如果差值Diff小于JND(x,y,t)，就把失真圖像的像素替換成原始圖像的像素，對于失真圖像的每一個像素都進行這樣的操作之后，得到新的失真圖像。

步驟2 使用標準VMAF算法對新的失真圖像和原始圖像進行評分，得到該幀的質量評估結果。

步驟3 對所有圖像幀的質量評估結果取平均值得到整個視頻的質量評估結果。

本發明的有益之處在于：在新的原始圖像和失真圖像上計算VMAF之后可以把低于JND閾值的像素的圖像忽略掉，即把人眼不敏感的部分忽略掉，從而使評價結果更加接近主觀；且兼顧了客觀圖像質量評價算法較好地嵌入性、低成本和泛化能力。

附圖說明

圖1為本發明一種結合JND和VMAF進行視頻質量評估的方法的流程圖。