[發(fā)明專利]一種基于多尺度空間視差信息的立體視頻舒適度預(yù)測方法

有效

• 申請?zhí)枺?/td>: 201911165762.6
• 申請日: 2019-11-25
• 公開（公告）號: CN111526354B
• 公開（公告）日: 2021-08-20
• 發(fā)明（設(shè)計）人: 周洋;梁文青;崔金鵬;張博文
• 申請（專利權(quán)）人: 杭州電子科技大學(xué)
• 主分類號: H04N17/00
• 分類號: H04N17/00;H04N13/106;G06K9/62
• 代理公司: 杭州杭誠專利事務(wù)所有限公司 33109
• 代理人: 尉偉敏

1.一種基于多尺度空間視差信息的立體視頻舒適度預(yù)測方法，其特征在于，包括以下步驟：

(1)從立體視頻每幀的不同尺度視差信息提取特征，特征包括尺度空間域特征和尺度空間流特征，尺度空間域特征提取的過程為：獲得立體視頻的幀視差圖進行變換后的圖像，即

當(dāng)前幀通過變換后在同一尺度將每幀視差最大值與平均值之差的平方加上最小值與平均值之差的平方，即

其中，為第l尺度輸入的當(dāng)前幀最大視差值，為第l尺度輸入的當(dāng)前幀最小視差值，為第l尺度輸入的當(dāng)前幀平均視差值；

將不同尺度空間的空間域視差特征融合，得到尺度空間域特征，即

尺度空間流特征提取的過程為：將當(dāng)前幀與前后幀的視差圖變換后在同一尺度對應(yīng)相減，得到五個不同尺度下的時間流視差特征，即

其中，為當(dāng)前尺度當(dāng)前視差幀，為當(dāng)前尺度前一視差幀，為當(dāng)前尺度下一視差幀，P為每幀總像素數(shù)；

將不同尺度空間的時間流視差特征融合，得到尺度空間流特征，即

(2)建立尺度空間域特征與尺度空間流特征權(quán)重關(guān)系得到立體視頻每幀輸入特征；

(3)利用SVR進行單幀舒適度預(yù)測并采用時間中值池化策略得到立體視頻舒適度得分。

2.根據(jù)權(quán)利要求1所述的一種基于多尺度空間視差信息的立體視頻舒適度預(yù)測方法，其特征在于，所述步驟(1)包含獲得每個尺度空間的空間域視差特征與時間流視差特征，對于某一尺度空間的空間域視差特征，計算此尺度的空間域方差，即

對于某一尺度空間的時間流視差特征，計算此尺度的時間流方差，即

其中，l為尺度等級，t為立體視頻當(dāng)前幀，N為立體視頻總幀數(shù)。

3.根據(jù)權(quán)利要求2所述的一種基于多尺度空間視差信息的立體視頻舒適度預(yù)測方法，其特征在于，所述步驟(1)包含將各尺度空間域視差特征進行線性加權(quán)，加權(quán)權(quán)重為

得到尺度空間域特征

將各尺度時間流視差特征進行線性加權(quán)，加權(quán)權(quán)重為

得到尺度空間流特征

4.根據(jù)權(quán)利要求1所述的一種基于多尺度空間視差信息的立體視頻舒適度預(yù)測方法，其特征在于，所述步驟(2)將尺度空間域特征與尺度空間流特征融合，公式如下：

其中，w^SSD為尺度空間域特征權(quán)重因子，w^SSF為尺度空間流特征權(quán)重因子，當(dāng)w^SSD＝0.8，w^SSF＝0.2將不同尺度空間下的時間流特征與空間域特征相結(jié)合，獲得輸入特征。

5.根據(jù)權(quán)利要求1所述的一種基于多尺度空間視差信息的立體視頻舒適度預(yù)測方法，其特征在于，所述步驟(3)采用SVR，將建立權(quán)重后的特征作為輸入值，對應(yīng)的MOS值作為輸出進行訓(xùn)練和測試，訓(xùn)練集與測試集比例為9:1，將進行若干次訓(xùn)練測試結(jié)果的平均值作為最終該條件下的結(jié)果。

6.根據(jù)權(quán)利要求5所述的一種基于多尺度空間視差信息的立體視頻舒適度預(yù)測方法，其特征在于，所述步驟(3)利用時間中值池化策略，取立體視頻所有幀預(yù)測值的中值作為該立體視頻的舒適度預(yù)測值。