[發(fā)明專利]一種H.265超高清視頻質(zhì)量評(píng)價(jià)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201910637501.3
• 申請(qǐng)日: 2019-07-15
• 公開(kāi)（公告）號(hào): CN110505472B
• 公開(kāi)（公告）日: 2021-01-15
• 發(fā)明（設(shè)計(jì)）人: 金偉正;王子軒;葉欣雨;馮方舟;徐卓
• 申請(qǐng)（專利權(quán)）人: 武漢大學(xué)
• 主分類號(hào): H04N17/00
• 分類號(hào): H04N17/00;G06T7/90;G06F17/16
• 代理公司: 武漢科皓知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 42222
• 代理人: 薛玲

1.一種基于H.265的超高清視頻質(zhì)量評(píng)價(jià)方法，其特征在于，包括以下步驟：

步驟1：對(duì)原視頻進(jìn)行YUV采樣，得到原始視頻序列；

步驟2：對(duì)原視頻序列和測(cè)試視頻序列進(jìn)行視頻質(zhì)量評(píng)價(jià)，計(jì)算視頻質(zhì)量參數(shù)；

步驟3：統(tǒng)一的視頻質(zhì)量評(píng)價(jià)參數(shù)；

步驟4：根據(jù)視頻質(zhì)量參數(shù)得出評(píng)價(jià)結(jié)果；

步驟2中所述計(jì)算視頻質(zhì)量參數(shù)的具體實(shí)現(xiàn)如下：

步驟2.1，計(jì)算峰值信噪比；

兩個(gè)M×N色度圖像I(i,j)和I'(i,j)，如果一個(gè)與另外一個(gè)的噪聲近似，那么二者的的均方差定義為：

其中，M為色度圖像的行數(shù)，N為色度圖像的列數(shù)，

峰值信噪比為：

其中，n是每個(gè)采樣值的比特?cái)?shù)；

步驟2.2，計(jì)算結(jié)構(gòu)相似性系數(shù)；

首先，對(duì)于兩個(gè)M×N色度圖像I(i,j)和I'(i,j)，以平均色度來(lái)作為亮度測(cè)量的估計(jì)：

其中，N為色度圖像的列數(shù)，μ_I為色度圖像I(i,j)的平均色度，μ_I'為色度圖像I'(i,j)的平均色度，輸入的圖像數(shù)據(jù)組是I，每個(gè)點(diǎn)的色度可以用I_i,j表示，I_i表示第i行色度；

然后，由測(cè)量系統(tǒng)知道要把平均色度值從信號(hào)中去除，對(duì)于離散信號(hào)，可使用標(biāo)準(zhǔn)差來(lái)做對(duì)比度估量值：

其中，N為色度圖像的列數(shù)，σ_I為色度圖像I(i,j)的標(biāo)準(zhǔn)差，σ_I'為色度圖像I'(i,j)的標(biāo)準(zhǔn)差，輸入的圖像數(shù)據(jù)組是I，每個(gè)點(diǎn)的色度可以用I_i,j表示，I_i表示第i行色度；

亮度對(duì)比函數(shù)：

其中，C₁為

對(duì)比度對(duì)比函數(shù)：

其中，C₂為

結(jié)構(gòu)對(duì)比函數(shù)：

其中，C₃為，σ_II'為色度圖像I(i,j)和色度圖像I'(i,j)的協(xié)方差：

其中C₁，C₂，C₃分別為常數(shù)，輸入的圖像數(shù)據(jù)組是I，每個(gè)點(diǎn)的色度可以用I_i,j表示，I_i表示第i行色度；

最后把三個(gè)函數(shù)組合起來(lái)，得到結(jié)構(gòu)相似性指數(shù)函數(shù)為：

SSIM(I,I')＝[L(I,I')][C(I,I')][S(I,I')]

步驟2.3，MS-SSIM多層級(jí)結(jié)構(gòu)相似性

寬高以2^M-1為因子進(jìn)行縮小，當(dāng)M＝1時(shí)，表示原始圖像大小；當(dāng)M＝2時(shí)，表示原始圖像縮小一半，以此類推，結(jié)構(gòu)相似性系數(shù)為：

步驟2.4，BRISQUE無(wú)參考圖像空域質(zhì)量評(píng)價(jià)；

使用亮度歸一化這種方式對(duì)圖像進(jìn)行預(yù)處理后,圖像的MSCN系數(shù)的分布將具有顯著的統(tǒng)計(jì)規(guī)律.這種非線性處理方式模擬了人類視覺(jué)系統(tǒng)中特有的自適應(yīng)增益控制前端中心環(huán)繞模型,從MSCN系數(shù)分布中提取的NSS特征可以有效地應(yīng)用于圖像質(zhì)量評(píng)價(jià)；

MSCN系數(shù)的計(jì)算方法為：

其中,M為色度圖像行的數(shù)量，N為色度圖像列的數(shù)量，I(i,j)是大小M×N的色度圖像,i∈1,2,···,M,j∈1,2,···,N；μ(i,j)為色度圖像的均值，σ(i,j)為色度圖像的方差；

C為常量,用于避免圖像因局部區(qū)域方差為零造成的不穩(wěn)定情況；ω_k,l是二維高斯加權(quán)函數(shù),K是高斯窗口的長(zhǎng),L是高斯窗口的寬；

使用零均值GGD模型為MSCN系數(shù)分布建模,將模型參數(shù)(α',σ²)作為圖像的特征,計(jì)算方法為：

其中，

其中，α'和σ²分別用于控制廣義高斯分布的形狀和方差；當(dāng)α'＝1時(shí),為拉普拉斯分布,圖像更趨近于拉普拉斯分布；時(shí),α'＝2為高斯分布；α'→∞時(shí),為均勻分布；

MSCN相鄰系數(shù)之間具有一定的結(jié)構(gòu)特性,基于此可以獲得失真圖像中的降質(zhì)信息；圖像在水平H在方向上MSCN相鄰系數(shù)的乘積、圖像在垂直V在方向上MSCN相鄰系數(shù)的乘積、圖像在主對(duì)角線D_m在方向上MSCN相鄰系數(shù)的乘積和圖像在次對(duì)角線D_s方向上MSCN相鄰系數(shù)的乘積分別為：

H(i,j)＝I_n(i,j)I_n(i,j+1),

V(i,j)＝I_n(i,j)I_n(i+1,j),

D_m(i,j)＝I_n(i,j)I_n(i+1,j+1),

D_s(i,j)＝I_n(i,j)I_n(i+1,j-1).

上述乘積的統(tǒng)計(jì)分布可以使用零均值A(chǔ)GGD模型擬合：

其中，

α”用于控制MSCN相鄰系數(shù)乘積分布的形狀,σ₁反映分布左側(cè)不同的衰減程度，σ_r反映分布右側(cè)不同的衰減程度；AGGD模型參數(shù)作為圖像特征進(jìn)行圖像質(zhì)量評(píng)價(jià)；

步驟2.5，VIFP基于像素的視覺(jué)信息保真度；

VIFP依賴于自然場(chǎng)景統(tǒng)計(jì)模型、圖像信號(hào)失真通道和人眼視覺(jué)失真模型；其計(jì)算如下：

其中，I(C；E|z)和I(C；F|z)分別表示人眼能夠理想的從輸入圖像和輸出圖像特定子帶中提取的信息，I(C；E|z)解釋為輸入圖像信息內(nèi)容，I(C；F|z)解釋為輸入圖像和輸出圖像的互信息值，該值在視覺(jué)上從輸出圖像相對(duì)于輸入圖像中出現(xiàn)的信息內(nèi)容中提取，由于各小波子帶相互獨(dú)立，則兩種信息測(cè)量的比例能夠擴(kuò)展到多個(gè)子帶，和分別是第k個(gè)子帶相應(yīng)的互信息測(cè)量，其中k是子帶數(shù)；

步驟2.6，PSNR-HVS符合人眼視覺(jué)特性的峰值信噪比；

由于上面的PSNR計(jì)算方法沒(méi)有考慮人眼視覺(jué)系統(tǒng)(Human Visual System，HVS)的特點(diǎn)，導(dǎo)致MSE相同或值相差不大的圖片，圖片質(zhì)量卻又很大差別，因此采用了考慮對(duì)比度敏感度函數(shù)和HVS的PSNR計(jì)算方法；

對(duì)于兩個(gè)M×N圖像PSNR-HVS的計(jì)算公式如下：

其中，n是每個(gè)采樣值的比特?cái)?shù)，考慮HVS特征MSE_H公式如下：

其中，I,J表示圖像塊的尺寸，X[m,n]_i,j為I×J塊圖像塊的DCT系數(shù)，是原始圖片對(duì)應(yīng)圖像塊的DCT系數(shù)，Y_c是校正因子矩陣，I,J為圖像塊的尺寸，將圖像分為小子塊；

步驟2.7，PSNR-HVSM；

PSNR-HVSM與PSNR-HVS的定義方式類似，但在DCT系數(shù)上每8x8的區(qū)域乘以對(duì)比度掩蔽(CM)，其公式如下：

其中，I,J表示圖像塊的尺寸，X[m,n]_i,j為I×J塊圖像塊的DCT系數(shù)，是原始圖片對(duì)應(yīng)圖像塊的DCT系數(shù)，Yc是校正因子矩陣；

步驟3中所述統(tǒng)一視頻質(zhì)量評(píng)價(jià)參數(shù)的具體實(shí)現(xiàn)如下：

先將步驟2中參數(shù)進(jìn)行歸一化處理，

SSIM₁＝SSIM

MS-SSIM₁＝MS-SSIM

其中，PSNR₁為歸一化后峰值信噪比；SSIM₁為歸一化后結(jié)構(gòu)相似性系數(shù)；MS-SSIM₁為歸一化多層級(jí)結(jié)構(gòu)相似性；

鑒于失真圖像MSCN系數(shù)的分布存在一定程度的偏移,使用非零均值GGD模型對(duì)MSCN系數(shù)的分布進(jìn)行擬合；

其中，α用于控制廣義高斯分布的形狀，σ²用于控制廣義高斯分布的方差，μ為均值,對(duì)應(yīng)峰值點(diǎn)的橫坐標(biāo)，表征分布的偏移程度，當(dāng)時(shí)μ≠0,表示分布存在偏移，模型參數(shù)(α,σ²,μ)作為圖像的特征；

失真圖像在4個(gè)方向上的MSCN相鄰系數(shù)乘積的分布也存在不同程度的偏移,使用非零均值A(chǔ)GGD模型對(duì)其進(jìn)行擬合：

其中，α”反映MSCN相鄰系數(shù)分布乘積的形狀，σ_l對(duì)應(yīng)分布左不同的衰減程度，σ_r對(duì)應(yīng)分布右側(cè)不同的衰減程度，μ為均值,對(duì)應(yīng)峰值點(diǎn)的橫坐標(biāo)，作為圖像特征；

為量化自然圖像鄰域像素之間的相似性,分別計(jì)算圖像中直接相鄰像素在水平方向上MSCN相鄰系數(shù)的全局相關(guān)系數(shù)即C_h、圖像中直接相鄰像素垂直方向上MSCN相鄰系數(shù)的全局相關(guān)系數(shù)即C_v、圖像中直接相鄰像素主對(duì)角線方向上MSCN相鄰系數(shù)的全局相關(guān)系數(shù)即C_m、圖像中直接相鄰像素次對(duì)角線方向上MSCN相鄰系數(shù)的全局相關(guān)系數(shù)C_s：

C_h＝P(I_n(1:M,1:N-1),I_n(1:M,2:N))

C_v＝P(I_n(1:M-1,1:N),I_n(2:M,1:N))

C_m＝P(I_n(1:M-1,1:N-1),I_n(2:M,2:N))

C_s＝P(I_n(2:M,1:N-1),I_n(1:M,2:N))

VIFP₁＝VIFP

PSNR₁，SSIM₁，MS-SSIM₁，VIFP₁，PSNR-HVS₁，PSNR-HVSM₁參數(shù)區(qū)間都在(0，1)內(nèi)，可將其進(jìn)行相加取平均值，即

(PSNR₁+SSIM₁+MS-SSIM₁+VIFP₁+PSNR-HVS₁+PSNR-HVSM₁)/6

其中，其中，PSNR₁為歸一化后峰值信噪比；SSIM₁為歸一化后結(jié)構(gòu)相似性系數(shù)；MS-SSIM₁為歸一化多層級(jí)結(jié)構(gòu)相似性；VIFP₁為歸一化基于像素的視覺(jué)信息保真度；PSNR-HVS₁為歸一化的符合人眼視覺(jué)特性的峰值信噪比；PSNR-HVSM₁為歸一化的基于空間的峰值信噪比；

步驟4中所述根據(jù)視頻質(zhì)量參數(shù)得出評(píng)價(jià)結(jié)果為：

該平均值數(shù)值：

(PSNR₁+SSIM₁+MS-SSIM₁+VIFP₁+PSNR-HVS₁+PSNR-HVSM₁)/6

越大代表視頻質(zhì)量越好，理論最佳質(zhì)量即原視頻得出結(jié)果為1；

步驟1中所述YUV采樣具體方法為：

通過(guò)自適應(yīng)的采樣方法，通過(guò)對(duì)色度和飽和度的離散程度計(jì)算，自動(dòng)匹配適宜的采樣格式；

YUV主要的采樣格式為：YCbCr 4:4:4、YCbCr 4:2:2、YCbCr 4:1:1、YCbCr 4:2:0，四種采樣格式的不同在于丟棄了多少色度信息和飽和度信息；

對(duì)于色度(U)，飽和度(V)計(jì)算局部標(biāo)準(zhǔn)差，對(duì)應(yīng)每一個(gè)4×4的區(qū)域內(nèi)：

在上式結(jié)果中，考慮該結(jié)果矩陣中數(shù)值高于閾值64的概率GCP(Gaily-ColouredProbability)，若超過(guò)68％，視為變化非常大；若低于34％，視為幾乎沒(méi)有變化；若兩個(gè)結(jié)果相差較大即色度與飽和度，一個(gè)超過(guò)68％而另一個(gè)低于34％，則視為在某一項(xiàng)上會(huì)有較多信息；

當(dāng)色度和飽和度在大部分4×4的區(qū)域內(nèi)變化非常大的時(shí)候應(yīng)采用YCbCr 4:4:4的格式；

當(dāng)色度和飽和度在大部分4×4的區(qū)域內(nèi)變化比較大的時(shí)候應(yīng)采用YCbCr 4:2:2的格式；

當(dāng)色度和飽和度在大部分4×4的區(qū)域內(nèi)幾乎沒(méi)有變化的時(shí)候應(yīng)采用YCbCr 4:1:1的格式；

如果色度和飽和度在某一項(xiàng)上會(huì)有較多信息的時(shí)候應(yīng)采用YCbCr 4:2:0的格式。