[發明專利]一種基于多尺度字典的立體圖像視覺舒適度評價方法

有效

• 申請號: 201610590602.6
• 申請日: 2016-07-25
• 公開（公告）號: CN106210710B
• 公開（公告）日: 2018-01-30
• 發明（設計）人: 姜求平;邵楓;李福翠
• 申請（專利權）人: 寧波大學
• 主分類號: H04N17/00
• 分類號: H04N17/00;H04N13/00
• 代理公司: 寧波奧圣專利代理事務所(普通合伙)33226
• 代理人: 周玨

技術領域

本發明涉及一種圖像質量評價方法，尤其是涉及一種基于多尺度字典的立體圖像視覺舒適度評價方法。

背景技術

隨著立體視頻顯示技術和高質量立體視頻內容獲取技術的快速發展，立體視頻的視覺體驗質量(QoE，quality of experience)是立體視頻系統設計中的一個重要問題，而視覺舒適度(VC，visual comfort)是影響立體視頻的視覺體驗質量的重要因素。目前，對立體視頻/圖像的質量評價研究主要考慮內容失真對于圖像質量的影響，而很少考慮視覺舒適度等因素的影響。因此，為了提高觀看者的視覺體驗質量，研究立體視頻/圖像的視覺舒適度客觀評價模型對指導3D內容的制作和后期處理具有十分重要的作用。

傳統的立體圖像視覺舒適度評價方法主要是基于機器學習的方法，其需要大量的樣本數據在立體圖像視覺舒適度特征和主觀評價值之間建立回歸模型，然而由于主觀評價值的獲取需要通過復雜的主觀實驗，因此非常耗時，并不適合實際的圖像處理應用。考慮到人們在進行主觀實驗時通常采用多等級打分制對立體圖像的視覺舒適度進行評價這一事實，如何在客觀評價過程中有效地將評價結果映射到不同的舒適度等級，使得客觀評價結果更加符合人類視覺主觀評價，是在對立體圖像進行客觀視覺舒適度評價過程中需要研究解決的問題。

發明內容

本發明所要解決的技術問題是提供一種基于多尺度字典的立體圖像視覺舒適度評價方法，其能夠有效地提高客觀評價結果與主觀感知之間的相關性。

本發明解決上述技術問題所采用的技術方案為：一種基于多尺度字典的立體圖像視覺舒適度評價方法，其特征在于包括訓練階段和測試階段兩個過程；在訓練階段中，選取五個不同舒適度等級的多幅立體圖像，構成初始訓練圖像集；然后通過獲取初始訓練圖像集中的每幅立體圖像的視差統計特征矢量和神經響應特征矢量，得到初始訓練圖像集中的每幅立體圖像的用于反映視覺舒適度的特征矢量；接著根據初始訓練圖像集中的所有立體圖像的用于反映視覺舒適度的特征矢量構造多尺度字典，并確定多尺度字典對應的多尺度質量表；在測試階段中，對于任意一幅測試立體圖像，以相同的方式獲得測試立體圖像的用于反映視覺舒適度的特征矢量；然后根據在訓練階段構造的多尺度字典，計算測試立體圖像的用于反映視覺舒適度的特征矢量的稀疏系數矩陣，進而確定測試立體圖像的用于反映視覺舒適度的特征矢量對應于多尺度字典的不同舒適度等級的稀疏系數矩陣；接著根據在訓練階段確定的多尺度質量表和對應于多尺度字典的不同舒適度等級的稀疏系數矩陣，計算測試立體圖像對應于不同舒適度等級的舒適度評價預測值；最后結合測試立體圖像對應于不同舒適度等級的舒適度評價預測值，獲得測試立體圖像的視覺舒適度客觀評價預測值。

所述的訓練階段具體包括以下步驟：

①_1、選取五個不同舒適度等級各幅寬度為W且高度為H的立體圖像，將選取的共M幅立體圖像構成初始訓練圖像集，記為{S_i|1≤i≤M}，其中，M>5且M為5的整數倍，S_i表示{S_i|1≤i≤M}中的第i幅立體圖像；

①_2、獲取{S_i|1≤i≤M}中的每幅立體圖像的視差統計特征矢量，將S_i的視差統計特征矢量記為其中，的維數為1×5，此處符號“[]”為矢量表示符號，f_i¹、f_i²、f_i³、f_i⁴和f_i⁵對應表示S_i的左視點圖像與右視點圖像之間的視差圖像{d_i(x,y)}的平均最大視差、平均最小視差、視差對比度、視差散度和視差偏度，d_i(x,y)表示{d_i(x,y)}中坐標位置為(x,y)的像素點的像素值，1≤x≤W，1≤y≤H；