[發明專利]一種基于多尺度空間視差信息的立體視頻舒適度預測方法

有效

• 申請號: 201911165762.6
• 申請日: 2019-11-25
• 公開（公告）號: CN111526354B
• 公開（公告）日: 2021-08-20
• 發明（設計）人: 周洋;梁文青;崔金鵬;張博文
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: H04N17/00
• 分類號: H04N17/00;H04N13/106;G06K9/62
• 代理公司: 杭州杭誠專利事務所有限公司 33109
• 代理人: 尉偉敏

本發明公開了一種基于多尺度空間視差信息的立體視頻舒適度預測方法，包括以下步驟：從立體視頻每幀的不同尺度視差信息提取尺度空間域特征與尺度空間流特征；建立尺度空間域特征與尺度空間流特征權重關系得到立體視頻每幀輸入特征；利用SVR進行單幀舒適度預測并采用時間中值池化策略得到立體視頻舒適度得分。上述方法在不同尺度空間提取特征，并將不同尺度空間特征進行融合，建立不同特征的權重關系，有效體現每個尺度的時間流視差特征對舒適度預測的貢獻，有效體現每個尺度的時間流視差特征對舒適度預測的貢獻，對立體視頻視覺舒適度進行更準確的預測。

技術領域

本發明涉及立體視頻舒適度技術領域，尤其涉及一種基于多尺度空間視差信息的立體視頻舒適度預測方法。

背景技術

伴隨著3D電影以及虛擬現實的發展，立體視頻和圖像在現實生活中的應用越來越多。相較于二維圖像和視頻，立體圖像和視頻能給用戶帶來更多的視覺信息和更逼真的視覺體驗，但同時由于運動過快或視差過大等，會給觀眾帶來視覺不適，降低視覺體驗。有資料顯示，觀看者觀看立體視頻時可能會產生頭暈、眼疲勞、惡心和肩頸疼痛等不適感。為給用戶帶來更多有益的視覺信息，需要探索立體視頻舒適度預測方法。

立體圖像和視頻由左序列與右序列合成。有研究利用左右視圖提取熵信息和紋理特征作為預測特征，將舒適度預測與顯著性相結合，采用了通過立體顯著區域提取不適因子進行舒適度預測。還有研究將主要視覺皮層的神經活動機制運用在立體視頻舒適度預測中。還有針對具有多個顯著物體的立體圖像不舒適性評估問題，提出了與視覺不舒適感潛在相關的4種視覺特征。視差圖在立體視覺有重要作用，給觀看者帶來距離信息，產生立體感，但過小會降低立體感知，過大會導致視覺不舒適。因此有研究開發了視差信息結合神經元模型的立體視覺不適預測器，或者提取深度信息探究不適因子與立體視覺舒適度的關系。有的提出視覺舒適度隨著視差大小和運動速度的增加而降低。也有利用水平視差與垂直視差進行立體視覺舒適度預測。

中國專利文獻CN103096122A公開了一種“基于感興趣區域內運動特征的立體視覺舒適度評價方法”。采用了：首先，制定計算立體視頻感興趣區域內運動特征向量策略；然后，通過主觀測試建立表征立體視頻運動特征和立體視覺舒適度之間非線性關系的立體視覺模型。最后，基于立體視頻感興趣區域內運動特征向量和非線性立體視覺模型，選擇空間域均值策略、最小值整合策略和時域中值策略，制定立體視覺舒適度評價方法。該方法沒有在不同尺度空間下對視差信息提取與融合各特征，預測不夠準確。

發明內容

本發明主要解決原有的缺少在不同尺度空間下對視差信息提取與融合的技術問題，提供一種基于多尺度空間視差信息的立體視頻舒適度預測方法，在不同尺度空間提取特征，并將不同尺度空間特征進行融合，建立不同特征的權重關系，有效體現每個尺度的時間流視差特征對舒適度預測的貢獻，有效體現每個尺度的時間流視差特征對舒適度預測的貢獻，對立體視頻視覺舒適度進行更準確的預測。

本發明的上述技術問題主要是通過下述技術方案得以解決的：本發明包括以下步驟：

(1)從立體視頻每幀的不同尺度視差信息提取特征；將立體視頻視差圖輸入多尺度變換獲得不通尺度空間下的視差圖，所有尺度空間下的空間域視差信息融合為尺度空間域特征，所有尺度空間下的時間流視差特征融為尺度空間流特征。

(2)建立尺度空間域特征與尺度空間流特征權重關系得到立體視頻每幀輸入特征；確定尺度空間域特征與尺度空間流特征權重因子后將尺度空間域特征與尺度空間流特征融合計算。

(3)利用SVR進行單幀舒適度預測并采用時間中值池化策略得到立體視頻舒適度得分。將建立權重后的特征作為輸入值，對應的MOS值作為輸出進行訓練和測試，訓練集與測試集比例為9:1，將進行2000次訓練測試結果的平均值作為最終該條件下的結果。

作為優選，所述的步驟(1)中提取的特征包括尺度空間域特征和尺度空間流特征。

作為優選，所述的步驟(1)中尺度空間域特征提取的過程為：獲得立體視頻的幀視差圖I，即