[發明專利]一種基于機器學習的立體視頻客觀質量評價方法

有效

• 申請號: 201310224787.5
• 申請日: 2013-06-05
• 公開（公告）號: CN103338379A
• 公開（公告）日: 2013-10-02
• 發明（設計）人: 蔣剛毅;唐先偉;郁梅;陳芬;邵楓;彭宗舉;王曉東;李福翠
• 申請（專利權）人: 寧波大學
• 主分類號: H04N17/00
• 分類號: H04N17/00;H04N13/00
• 代理公司: 寧波奧圣專利代理事務所(普通合伙) 33226
• 代理人: 周玨

1.一種基于機器學習的立體視頻客觀質量評價方法，其特征在于它的處理過程為：

通過對參考立體視頻的左視點視頻中的圖像的亮度分量圖中的所有尺寸大小一致的第一圖像塊，及失真的立體視頻的左視點視頻中的圖像的亮度分量圖中的所有尺寸大小一致的第一圖像塊實施奇異值分解，獲取失真的立體視頻的左視點視頻的質量；

通過對參考立體視頻的右視點視頻中的圖像的亮度分量圖中的所有尺寸大小一致的第一圖像塊，及失真的立體視頻的右視點視頻中的圖像的亮度分量圖中的所有尺寸大小一致的第一圖像塊實施奇異值分解，獲取失真的立體視頻的右視點視頻的質量；

通過計算參考立體視頻的左視點視頻與右視點視頻中相對應的兩幀圖像的亮度分量圖的絕對差值圖中的每個尺寸大小為8×8的子塊，與失真的立體視頻的左視點視頻與右視點視頻中相對應的兩幀圖像的亮度分量圖的絕對差值圖中的每個尺寸大小為8×8的子塊的結構相似度，獲取失真的立體視頻的左視點視頻與右視點視頻在視點間的差異程度；

采用多個原始的無失真的立體視頻，建立其在不同失真類型不同失真程度下的失真立體視頻集合，該失真立體視頻集合包括多個失真立體視頻，然后利用主觀質量評價方法分別評價出該失真立體視頻集合中的每個失真立體視頻的平均主觀意見分，接著按照上述三個過程獲取該失真立體視頻集合中的每個失真立體視頻的左視點視頻的質量、右視點視頻的質量、左視點視頻與右視點視頻在視點間的差異程度，再將每個失真立體視頻的左視點視頻的質量、右視點視頻的質量、左視點視頻與右視點視頻在視點間的差異程度構成特征矢量；

將該失真立體視頻集合中的所有失真立體視頻分成訓練集和測試集，然后采用支持向量回歸作為機器學習的方法，對該訓練集中的所有失真立體視頻的特征矢量進行訓練，并結合該訓練集中的所有失真立體視頻的平均主觀意見分，得到支持向量回歸訓練模型，接著根據支持向量回歸訓練模型，對該測試集中的每個失真立體視頻的特征矢量進行測試，預測得到該測試集中的每個失真立體視頻的客觀質量評價預測值。

2.根據權利要求1所述的一種基于機器學習的立體視頻客觀質量評價方法，其特征在于它具體包括以下步驟：

①令R^(o)表示原始的無失真的立體視頻，將R^(o)作為參考立體視頻，令R^(d)表示與R^(o)相對應的失真立體視頻，將R^(o)的左視點視頻中的第k幀圖像的亮度分量圖記為將R^(o)的右視點視頻中的第k幀圖像的亮度分量圖記為將R^(d)的左視點視頻中的第k幀圖像的亮度分量圖記為將R^(d)的右視點視頻中的第k幀圖像的亮度分量圖記為其中，k為正整數，1≤k≤N_f，N_f表示左視點視頻和右視點視頻中包含的圖像的幀數；

②計算R^(d)的左視點視頻中的每幀圖像的亮度分量圖的空域質量，將R^(d)的左視點視頻中的第k幀圖像的亮度分量圖的空域質量記為Q_L,k，其中，獲取Q_L,k的主要過程為：首先，分別將和分割成多個互不重疊的尺寸大小一致的第一圖像塊；然后對和中的每個第一圖像塊實施奇異值分解，得到和中的每個第一圖像塊的左奇異向量矩陣、右奇異向量矩陣、奇異值的對角矩陣；接著，根據和中的每個第一圖像塊的左奇異向量矩陣和右奇異向量矩陣，獲取與中所有的坐標位置相同的兩個第一圖像塊的奇異向量的相似程度；最后，根據與中所有的坐標位置相同的兩個第一圖像塊的奇異向量的相似程度，獲得的空域質量Q_L,k；

③根據R^(d)的左視點視頻中的每幀圖像的亮度分量圖的空域質量，計算R^(d)的左視點視頻的質量，記為其中，w_L,k表示Q_L,k相對于時域上位于R^(d)的左視點視頻中的第k幀圖像之前的F幀圖像各自的空域質量和時域上位于R^(d)的左視點視頻中的第k幀圖像之后的F幀圖像各自的空域質量的波動因子，wL,k=1,k=1,2,...,F12FΣT=1F(|QL,k-QL,k-T|+|QL,k-QL,k+T|)1,k=Nf-F+1,Nf-F+2,...,Nfk=F+1,F+2,...,Nf-F,]]>F的值為1或2或3或4，Q_L,k-T表示R^(d)的左視點視頻中的第k-T幀圖像的亮度分量圖的空域質量，Q_L,k+T表示R^(d)的左視點視頻中的第k+T幀圖像的亮度分量圖的空域質量，符號“||”為取絕對值符號；

④計算R^(d)的右視點視頻中的每幀圖像的亮度分量圖的空域質量，將R^(d)的右視點視頻中的第k幀圖像的亮度分量圖的空域質量記為Q_R,k，其中，獲取Q_R,k的主要過程為：首先，分別將和分割成多個互不重疊的尺寸大小一致的第二圖像塊；然后對和中的每個第二圖像塊實施奇異值分解，得到和中的每個第二圖像塊的左奇異向量矩陣、右奇異向量矩陣、奇異值的對角矩陣；接著，根據和中的每個第二圖像塊的左奇異向量矩陣和右奇異向量矩陣，獲取與中所有的坐標位置相同的兩個第二圖像塊的奇異向量的相似程度；最后，根據與中所有的坐標位置相同的兩個第二圖像塊的奇異向量的相似程度，獲得的空域質量Q_R,k；

⑤根據R^(d)的右視點視頻中的每幀圖像的亮度分量圖的空域質量，計算R^(d)的右視點視頻的質量，記為其中，w_R,k表示Q_R,k相對于時域上位于R^(d)的右視點視頻中的第k幀圖像之前的F幀圖像各自的空域質量和時域上位于R^(d)的右視點視頻中的第k幀圖像之后的F幀圖像各自的空域質量的波動因子，wR,k=1,k=1,2,...,F12FΣT=1F(|QR,k-QR,k-T|+|QR,k-QR,k+T|)1,k=Nf-F+1,Nf-F+2,...,Nfk=F+1,F+2,...,Nf-F,]]>F的值為1或2或3或4，Q_R,k-T表示R^(d)的右視點視頻中的第k-T幀圖像的亮度分量圖的空域質量，Q_R,k+T表示R^(d)的右視點視頻中的第k+T幀圖像的亮度分量圖的空域質量；

⑥計算R^(o)的左視點視頻與右視點視頻中相對應的兩幀圖像的亮度分量圖的絕對差值圖，并計算R^(d)的左視點視頻與右視點視頻中相對應的兩幀圖像的亮度分量圖的絕對差值圖，然后計算R^(o)對應的絕對差值圖中的每個尺寸大小為8×8的子塊與R^(d)對應的絕對差值圖中對應的尺寸大小為8×8的子塊的結構相似度，再根據R^(o)對應的絕對差值圖中的每個尺寸大小為8×8的子塊與R^(d)對應的絕對差值圖中對應的尺寸大小為8×8的子塊的結構相似度，計算R^(d)的左視點視頻與右視點視頻中相對應的兩幀圖像的亮度分量圖在視點間差異的變化程度，將R^(d)的左視點視頻中的第k幀圖像的亮度分量圖與R^(d)的右視點視頻中的第k幀圖像的亮度分量圖在視點間差異的變化程度記為Q_D,k；

⑦根據R^(d)的左視點視頻與右視點視頻中相對應的兩幀圖像的亮度分量圖在視點間差異的變化程度，計算R^(d)的左視點視頻與右視點視頻在視點間的差異程度，記為其中，w_D,k表示Q_D,k相對于時域上位于R^(d)的左視點視頻中的第k幀圖像之前的F幀圖像與R^(d)的右視點視頻中的第k幀圖像之前的F幀圖像各自的亮度分量圖在視點間差異的變化程度，及時域上位于R^(d)的左視點視頻中的第k幀圖像之后的F幀圖像與R^(d)的右視點視頻中的第k幀圖像之后的F幀圖像各自的亮度分量圖在視點間差異的變化程度的波動因子，wD,k=1,k=1,2,...,F12FΣT=1F(|QD,k-QD,k-T|+|QD,k-QD,k+T|)1,k=Nf-F+1,Nf-F+2,...,Nfk=F+1,F+2,...,Nf-F,]]>F的值為1或2或3或4，Q_D,k-T表示R^(d)的左視點視頻中的第k-T幀圖像的亮度分量圖與R^(d)的右視點視頻中的第k-T幀圖像的亮度分量圖在視點間差異的變化程度，Q_D,k+T分別R^(d)的左視點視頻中的第k+T幀圖像的亮度分量圖與R^(d)的右視點視頻中的第k+T幀圖像的亮度分量圖在視點間差異的變化程度；

⑧采用n'個原始的無失真的立體視頻，建立其在不同失真類型不同失真程度下的失真立體視頻集合，該失真立體視頻集合包括多個失真立體視頻，利用主觀質量評價方法分別評價出該失真立體視頻集合中的每個失真立體視頻的平均主觀意見分，將該失真立體視頻集合中的第j個失真立體視頻的平均主觀意見分記為MOS_j，MOS_j∈[0,5]；然后按照步驟①至步驟⑦計算R^(d)的左視點視頻的質量Q_L、R^(d)的右視點視頻的質量Q_R及R^(d)的左視點視頻與右視點視頻在視點間的差異程度Q_D的操作，以相同的方式計算該失真立體視頻集合中的每個失真立體視頻的左視點視頻的質量、該失真立體視頻集合中的每個失真立體視頻的右視點視頻的質量、該失真立體視頻集合中的每個失真立體視頻的左視點視頻與右視點視頻在視點間的差異程度，將該失真立體視頻集合中的第j個失真立體視頻的左視點視頻的質量記為Q_L(j)，將該失真立體視頻集合中的第j個失真立體視頻的右視點視頻的質量記為Q_R(j)，將該失真立體視頻集合中的第j個失真立體視頻的左視點視頻與右視點視頻在視點間的差異程度記為Q_D(j)；再由該失真立體視頻集合中的每個失真立體視頻的左視點視頻的質量和右視點視頻的質量、該失真立體視頻集合中的每個失真立體視頻的左視點視頻與右視點視頻在視點間的差異程度構成該失真立體視頻集合中的每個失真立體視頻的特征矢量，將該失真立體視頻集合中的第j個失真立體視頻的特征矢量記為x_j，x_j=(Q_L(j),Q_R(j),Q_D(j))；其中，n'>1，1≤j≤N'，N'表示該失真立體視頻集合中包含的失真立體視頻的個數；

⑨將該失真立體視頻集合中的所有失真立體視頻分成訓練集和測試集，然后采用支持向量回歸作為機器學習的方法，對該訓練集中的所有失真立體視頻的特征矢量進行訓練，使得經過訓練得到的回歸函數值與平均主觀意見分之間的誤差最小，擬合得到最優的權值矢量W^opt和最優的偏置項b^opt，接著利用W^opt和b^opt構造得到支持向量回歸訓練模型，再根據支持向量回歸訓練模型，對該測試集中的每個失真立體視頻的特征矢量進行測試，預測得到該測試集中的每個失真立體視頻的客觀質量評價預測值，將該測試集中的第k'個失真立體視頻的客觀質量評價預測值記為Q_k'，Q_k'=f(x_k')，其中，1≤k'≤t'，t'表示該測試集中包含的失真立體視頻的個數，f()為函數表示形式，x_k'表示測試集中的第k'個失真立體視頻的特征矢量，Q_k'=f(x_k')表示該測試集中的第k'個失真立體視頻的客觀質量評價預測值Q_k'是該測試集中的第k'個失真立體視頻的特征矢量x_k'的函數，(W^opt)^T為W^opt的轉置矢量，表示該測試集中的第k'個失真立體視頻的線性函數。