[發明專利]一種基于多尺度字典的立體圖像視覺舒適度評價方法

有效

• 申請號: 201610590602.6
• 申請日: 2016-07-25
• 公開（公告）號: CN106210710B
• 公開（公告）日: 2018-01-30
• 發明（設計）人: 姜求平;邵楓;李福翠
• 申請（專利權）人: 寧波大學
• 主分類號: H04N17/00
• 分類號: H04N17/00;H04N13/00
• 代理公司: 寧波奧圣專利代理事務所(普通合伙)33226
• 代理人: 周玨

1.一種基于多尺度字典的立體圖像視覺舒適度評價方法，其特征在于包括訓練階段和測試階段兩個過程；在訓練階段中，選取五個不同舒適度等級的多幅立體圖像，構成初始訓練圖像集；然后通過獲取初始訓練圖像集中的每幅立體圖像的視差統計特征矢量和神經響應特征矢量，得到初始訓練圖像集中的每幅立體圖像的用于反映視覺舒適度的特征矢量；接著根據初始訓練圖像集中的所有立體圖像的用于反映視覺舒適度的特征矢量構造多尺度字典，并確定多尺度字典對應的多尺度質量表；在測試階段中，對于任意一幅測試立體圖像，以相同的方式獲得測試立體圖像的用于反映視覺舒適度的特征矢量；然后根據在訓練階段構造的多尺度字典，計算測試立體圖像的用于反映視覺舒適度的特征矢量的稀疏系數矩陣，進而確定測試立體圖像的用于反映視覺舒適度的特征矢量對應于多尺度字典的不同舒適度等級的稀疏系數矩陣；接著根據在訓練階段確定的多尺度質量表和對應于多尺度字典的不同舒適度等級的稀疏系數矩陣，計算測試立體圖像對應于不同舒適度等級的舒適度評價預測值；最后結合測試立體圖像對應于不同舒適度等級的舒適度評價預測值，獲得測試立體圖像的視覺舒適度客觀評價預測值；

所述的訓練階段具體包括以下步驟：

①_1、選取五個不同舒適度等級各幅寬度為W且高度為H的立體圖像，將選取的共M幅立體圖像構成初始訓練圖像集，記為{S_i|1≤i≤M}，其中，M>5且M為5的整數倍，S_i表示{S_i|1≤i≤M}中的第i幅立體圖像；

①_2、獲取{S_i|1≤i≤M}中的每幅立體圖像的視差統計特征矢量，將S_i的視差統計特征矢量記為其中，的維數為1×5，此處符號“[]”為矢量表示符號，f_i¹、f_i²、f_i³、f_i⁴和f_i⁵對應表示S_i的左視點圖像與右視點圖像之間的視差圖像{d_i(x,y)}的平均最大視差、平均最小視差、視差對比度、視差散度和視差偏度，d_i(x,y)表示{d_i(x,y)}中坐標位置為(x,y)的像素點的像素值，1≤x≤W，1≤y≤H；

①_3、獲取{S_i|1≤i≤M}中的每幅立體圖像的神經響應特征矢量，將S_i的神經響應特征矢量記為其中，的維數為1×13，此處符號“[]”為矢量表示符號，1≤j≤13，r_i¹,r_i²,…,r_i^j,…,r_i¹³對應為中的第1個元素、第2個元素、…、第j個元素、…、第13個元素，符號“| |”為取絕對值符號，表示S_i中的第j個神經元在所有視差區間的響應構成的向量經最大池化后得到的特征矢量；

①_4、將{S_i|1≤i≤M}中的每幅立體圖像的視差統計特征矢量和神經響應特征矢量組合成一個新的矢量作為對應的立體圖像的用于反映視覺舒適度的特征矢量，將S_i的用于反映視覺舒適度的特征矢量記為D_i，其中，D_i的維數為1×18，此處符號“[]”為矢量表示符號，表示將和連接起來形成一個新的矢量；

①_5、根據{S_i|1≤i≤M}中的所有立體圖像的用于反映視覺舒適度的特征矢量構造多尺度字典，記為D，并確定D對應的多尺度質量表，記為q，其中，D_1,1表示{S_i|1≤i≤M}中屬于第1個舒適度等級的第1幅立體圖像的用于反映視覺舒適度的特征矢量，表示{S_i|1≤i≤M}中屬于第1個舒適度等級的第幅立體圖像的用于反映視覺舒適度的特征矢量，D_2,1表示{S_i|1≤i≤M}中屬于第2個舒適度等級的第1幅立體圖像的用于反映視覺舒適度的特征矢量，表示{S_i|1≤i≤M}中屬于第2個舒適度等級的第幅立體圖像的用于反映視覺舒適度的特征矢量，D_3,1表示{S_i|1≤i≤M}中屬于第3個舒適度等級的第1幅立體圖像的用于反映視覺舒適度的特征矢量，表示{S_i|1≤i≤M}中屬于第3個舒適度等級的第幅立體圖像的用于反映視覺舒適度的特征矢量，D_4,1表示{S_i|1≤i≤M}中屬于第4個舒適度等級的第1幅立體圖像的用于反映視覺舒適度的特征矢量，表示{S_i|1≤i≤M}中屬于第4個舒適度等級的第幅立體圖像的用于反映視覺舒適度的特征矢量，D_5,1表示{S_i|1≤i≤M}中屬于第5個舒適度等級的第1幅立體圖像的用于反映視覺舒適度的特征矢量，表示{S_i|1≤i≤M}中屬于第5個舒適度等級的第幅立體圖像的用于反映視覺舒適度的特征矢量，q_1,1表示{S_i|1≤i≤M}中屬于第1個舒適度等級的第1幅立體圖像的平均主觀評分均值，表示{S_i|1≤i≤M}中屬于第1個舒適度等級的第幅立體圖像的平均主觀評分均值，q_2,1表示{S_i|1≤i≤M}中屬于第2個舒適度等級的第1幅立體圖像的平均主觀評分均值，表示{S_i|1≤i≤M}中屬于第2個舒適度等級的第幅立體圖像的平均主觀評分均值，q_3,1表示{S_i|1≤i≤M}中屬于第3個舒適度等級的第1幅立體圖像的平均主觀評分均值，表示{S_i|1≤i≤M}中屬于第3個舒適度等級的第幅立體圖像的平均主觀評分均值，q_4,1表示{S_i|1≤i≤M}中屬于第4個舒適度等級的第1幅立體圖像的平均主觀評分均值，表示{S_i|1≤i≤M}中屬于第4個舒適度等級的第幅立體圖像的平均主觀評分均值，q_5,1表示{S_i|1≤i≤M}中屬于第5個舒適度等級的第1幅立體圖像的平均主觀評分均值，表示{S_i|1≤i≤M}中屬于第5個舒適度等級的第幅立體圖像的平均主觀評分均值；

所述的測試階段具體包括以下步驟：

②_1、對于任意一幅測試立體圖像S_test，按照步驟①_2至步驟①_4的過程，以相同的操作獲取S_test的用于反映視覺舒適度的特征矢量，記為G_t，其中，G_t的維數為1×18；

②_2、根據在訓練階段構造的多尺度字典D，計算G_t的稀疏系數矩陣，記為是通過求解得到的，滿足條件：其中，α_1,1表示G_t對應于多尺度字典D的第1個舒適度等級的第1幅立體圖像的稀疏系數，表示G_t對應于多尺度字典D的第1個舒適度等級的第幅立體圖像的稀疏系數，α_2,1表示G_t對應于多尺度字典D的第2個舒適度等級的第1幅立體圖像的稀疏系數，表示G_t對應于多尺度字典D的第2個舒適度等級的第幅立體圖像的稀疏系數，α_3,1表示G_t對應于多尺度字典D的第3個舒適度等級的第1幅立體圖像的稀疏系數，表示G_t對應于多尺度字典D的第3個舒適度等級的第幅立體圖像的稀疏系數，α_4,1表示G_t對應于多尺度字典D的第4個舒適度等級的第1幅立體圖像的稀疏系數，表示G_t對應于多尺度字典D的第4個舒適度等級的第幅立體圖像的稀疏系數，α_5,1表示G_t對應于多尺度字典D的第5個舒適度等級的第1幅立體圖像的稀疏系數，表示G_t對應于多尺度字典D的第5個舒適度等級的第幅立體圖像的稀疏系數，符號“|| ||₂”為求取矩陣的2-范數符號，ε為誤差閾值，min{}為取最小值函數；

②_3、根據確定G_t對應于多尺度字典D的不同舒適度等級的稀疏系數矩陣，將G_t對應于多尺度字典D的第1個舒適度等級的稀疏系數矩陣記為將G_t對應于多尺度字典D的第2個舒適度等級的稀疏系數矩陣記為將G_t對應于多尺度字典D的第3個舒適度等級的稀疏系數矩陣記為將G_t對應于多尺度字典D的第4個舒適度等級的稀疏系數矩陣記為將G_t對應于多尺度字典D的第5個舒適度等級的稀疏系數矩陣記為

δ2(g^t)=[0,...,0,α2,1,...,α2,M5,0,...,0,0,...,0,0,...,0],]]>

δ3(g^t)=[0,...,0,0,...,0,α3,1,...,α3,M5,0,...,0,0,...,0],]]>

δ4(g^t)=[0,...,0,0,...,0,0,...,0,α4,1,...,α4,M5,0,...,0],]]>

δ5(g^t)=[0,...,0,0,...,0,0,...,0,0,...,0,α5,1,...,α5,M5];]]>

②_4、計算S_test對應于不同舒適度等級的舒適度評價預測值，將S_test對應于第n個舒適度等級的舒適度評價預測值記為Q_n，其中，1≤n≤5，符號“< >”為求內積操作符號，q為在訓練階段確定的多尺度質量表，符號“|| ||₁”為求取矩陣的1-范數符號；

②_5、通過對S_test對應于不同舒適度等級的舒適度評價預測值進行結合，獲得S_test的視覺舒適度客觀評價預測值，記為Q_t，其中，