[發明專利]一二維質量描述子融合的音視頻聯合質量評價方法及終端

有效

• 申請號: 202010171586.3
• 申請日: 2020-03-12
• 公開（公告）號: CN111479106B
• 公開（公告）日: 2021-06-29
• 發明（設計）人: 閔雄闊;翟廣濤;楊小康
• 申請（專利權）人: 上海交通大學
• 主分類號: H04N17/00
• 分類號: H04N17/00;H04N21/234;H04N21/233;H04N21/44;H04N21/439;H04N21/475
• 代理公司: 上海恒慧知識產權代理事務所(特殊普通合伙) 31317
• 代理人: 劉翠

1.一種一二維質量描述子融合的音視頻聯合質量評價方法，其特征在于，包括以下步驟：

S1：選取適用于視覺信號的二維圖像質量描述子；

S2：將S1中選取的二維圖像質量描述子中所有二維操作推廣并降維至一維操作，得到適用于聽覺信號的一維音頻質量描述子；

S3：融合S1中得到的二維圖像質量描述子和S2中得到的一維音頻質量描述子，得到音視頻聯合質量評價模型，采用所述音視頻聯合質量評價模型進行音視頻聯合質量評價；

所述S1中，通過視覺質量評價方法，選擇得到如下任意一個或任意多個適用于視覺信號的二維圖像質量描述子：

-結構相似性指標SSIM；

-多尺度結構相似性指標MS-SSIM；

-像素域視覺信息保真度算法VIFP；

-梯度幅值相似性算法GMSM；

-梯度幅值相似性偏差算法GMSD；

所述S2中，將S1中選取的適用于視覺信號的二維圖像質量描述子中所有適用于圖像信號的二維操作推廣并降維至適用于音頻信號的一維操作，從而得到以下任意一種或任意多種適用于聽覺信號的一維音頻質量描述子：

-一維結構相似性指標SSIM_1D；

所述一維結構相似性指標SSIM_1D表述為：

其中，x表示參考音頻信號，y表示失真音頻信號，SSIM_1D(x,y)表示失真音頻信號和參考音頻信號之間的一維結構相似性；μ_x表示參考音頻信號的局部均值，μ_y表示失真音頻信號的局部均值，σ_x表示參考音頻信號的局部標準差，σ_y表示失真音頻信號的局部標準差，σ_xy表示參考音頻信號和失真音頻信號的局部協方差，C₁和C₂分別為一個常數；

-一維多尺度結構相似性指標MS-SSIM_1D：

所述一維多尺度結構相似性指標MS-SSIM_1D表述為：

其中，x_s,y_s分別表示參考音頻信號和失真音頻信號，下標s＝1,…,5表示五個不同的尺度，分別為原始尺度以及依次兩倍下采樣得到的四個尺度，w_s為每個尺度的權重，SSIM_1D計算兩組一維音頻信號之間的一維結構相似性指標；

-一維像素域視覺信息保真度算法VIFP_1D：

所述一維像素域視覺信息保真度算法VIFP_1D表述為：

其中，IF_x表示參考音頻信號的信息量，IF_y表示失真音頻信號的信息量；

-一維梯度幅值相似性算法GMSM_1D：

一維梯度幅值相似性算法GMSM_1D表述為：

其中，t＝1,…,T表示音頻樣本的索引，GMS_1D表示一維梯度幅值相似性；

其中，c表示一個根據音頻樣本動態范圍設定的常數，m_x(t)及m_y(t)分別表示一維音頻信號x及y的梯度幅值

m_x(t)＝|x(t)*e|，

m_y(t)＝|y(t)*e|，

x(t)為參考音頻信號，y(t)為失真音頻信號；

其中，e＝[1 0 -1]表示一個一維梯度算子；

-一維梯度幅值相似性偏差算法GMSD_1D：

所述一維梯度幅值相似性偏差算法GMSD_1D表述為：

GMSD_1D＝std(GMS_1D(t))，

其中，std表示計算一維信號GMS_1D(t)所有樣本的標準差，GMS_1D表示一維梯度幅值相似性；

所述步驟S3中，融合S1中得到的二維圖像質量描述子及S2中得到的相對應的一維音頻質量描述子，得到以下任意一個或任意多個音視頻聯合質量評價模型：

-視聽結構相似性指標AVSSIM；

-視聽多尺度結構相似性指標AVMSSSIM；

-視聽像素域視覺信息保真度算法AVIFP；

-視聽梯度幅值相似性算法AVGMSM；

-視聽梯度幅值相似性偏差算法AVGMSD；

所述二維圖像質量描述子與所述一維音頻質量描述子的融合方法為：

其中，Q_2D是利用二維圖像質量描述子計算得出的視頻質量；Q_1D是利用相對應的一維音頻質量描述子計算得出的音頻質量；Q_av為融合后的最終的音視頻總體質量；w用于控制二維質量描述子和一維質量描述子之間的相對權重。