[發明專利]基于自然音視頻統計的無參考音視頻聯合質量評價方法

有效

• 申請號: 202010171587.8
• 申請日: 2020-03-12
• 公開（公告）號: CN111479107B
• 公開（公告）日: 2021-06-08
• 發明（設計）人: 閔雄闊;翟廣濤;楊小康
• 申請（專利權）人: 上海交通大學
• 主分類號: H04N17/00
• 分類號: H04N17/00;H04N21/234;H04N21/233;H04N21/44;H04N21/439;H04N21/475
• 代理公司: 上海恒慧知識產權代理事務所(特殊普通合伙) 31317
• 代理人: 劉翠

1.一種基于自然音視頻統計的無參考音視頻聯合質量評價方法，其特征在于，包括：

S1：對輸入視頻信號構建自然視頻統計模型，所述自然視頻統計模型用于對視頻進行統計建模；

S2：將S1中得到的自然視頻統計模型推廣至自然音頻統計中，對輸入音頻信號構建自然音頻統計模型，所述自然音頻統計模型用于對音頻進行統計建模；

S3：利用S1中得到的自然視頻統計模型及S2中得到的自然音頻統計模型，構建自然音頻及視頻聯合統計模型，所述自然音頻及視頻聯合統計模型用于對視頻和音頻進行聯合統計建模；

S4：分別提取基于自然音頻統計模型、自然視頻統計模型以及自然音頻及視頻聯合統計模型的音視頻質量特征；

S5：對S4中得到的音視頻質量特征進行特征回歸操作，得到最終的音視頻聯合質量估計。

2.根據權利要求1所述的基于自然音視頻統計的無參考音視頻聯合質量評價方法，其特征在于，所述S1中，對輸入視頻信號進行正則化處理，并利用正則化后的視頻信號構建空間域的自然視頻統計模型；包括：

對輸入視頻信號進行正則化處理：

式中，I(i,j)為原始視頻信號，為正則化之后的視頻信號，i,j為像素索引，c是根據視頻信號動態范圍設定的一個用于保持除式穩定的常數；μ(i,j)及σ(i,j)分別表示視頻信號的局部均值及標準差：

式中，w_k,l，k＝-K,…,K，l＝-L,…,L表示一個二維的局部高斯窗；

利用自然視頻統計特性對正則化后的視頻信號進行對自然視頻統計模型建模：

采用廣義高斯分布對正則化后的視頻信號進行描述：

式中，f(x；α,σ²)表示正則化視頻信號的像素值所服從的概率密度函數；x表示正則化視頻信號的像素值；α表示一個參數，用于控制分布的形狀；σ表示一個參數，σ²用于控制分布的方差；Γ(·)表示如下伽馬函數：

t為時序索引；

β表示以下參數：

采用非對稱廣義高斯分布描述與正則化后的視頻信號相鄰的兩個樣本及之間的乘積，即

式中，表示正則化視頻信號的相鄰像素值乘積所服從的概率密度函數，v表示一個參數，用于控制分布的形狀；σ_l表示一個參數，用于控制左側分布的方差；σ_r表示一個參數，用于控制右側分布的方差；β_l及β_r表示以下參數：