[發明專利]一種非對稱多失真立體圖像質量客觀評價方法

有效

• 申請號: 201711380389.7
• 申請日: 2017-12-20
• 公開（公告）號: CN108460752B
• 公開（公告）日: 2020-04-10
• 發明（設計）人: 邵楓;高影;李福翠
• 申請（專利權）人: 寧波大學
• 主分類號: G06T7/00
• 分類號: G06T7/00
• 代理公司: 寧波奧圣專利代理事務所(普通合伙) 33226
• 代理人: 周玨

1.一種非對稱多失真立體圖像質量客觀評價方法，其特征在于包括訓練階段和測試階段兩個過程；

所述的訓練階段過程的具體步驟如下：

①_1、選取N幅寬度為W且高度為H的原始的無失真立體圖像；然后對每幅原始的無失真立體圖像分別進行L個不同失真強度的JPEG失真、高斯模糊失真和高斯白噪聲失真，得到每幅原始的無失真立體圖像對應的L個失真強度的JPEG失真立體圖像、L個失真強度的高斯模糊失真立體圖像、L個失真強度的高斯白噪聲失真立體圖像；接著將所有原始的無失真立體圖像及各自對應的L個失真強度的JPEG失真立體圖像構成第一訓練圖像集，記為并將所有原始的無失真立體圖像及各自對應的L個失真強度的高斯模糊失真立體圖像構成第二訓練圖像集，記為將所有原始的無失真立體圖像及各自對應的L個失真強度的高斯白噪聲失真立體圖像構成第三訓練圖像集，記為

其中，N>1，L>1，表示和中的第u幅原始的無失真立體圖像，表示中的第u幅原始的無失真立體圖像對應的第v個失真強度的失真立體圖像，表示中的第u幅原始的無失真立體圖像對應的第v個失真強度的失真立體圖像，表示中的第u幅原始的無失真立體圖像對應的第v個失真強度的失真立體圖像；

①_2、采用6種不同的全參考圖像質量評價方法分別獲取和各自中的每幅失真立體圖像的客觀評價預測值；然后將中的每幅失真立體圖像的6個客觀評價預測值按序組成該失真立體圖像的圖像質量矢量，將中的每幅失真立體圖像的6個客觀評價預測值按序組成該失真立體圖像的圖像質量矢量，將中的每幅失真立體圖像的6個客觀評價預測值按序組成該失真立體圖像的圖像質量矢量；

①_3、將中的所有失真立體圖像的圖像質量矢量和平均主觀評分差值構成第一訓練樣本數據集合；然后采用支持向量回歸作為機器學習的方法，對第一訓練樣本數據集合中的所有圖像質量矢量進行訓練，使得經過訓練得到的回歸函數值與主觀質量推薦值之間的誤差最小，擬合得到最優的權重矢量和最優的偏置項接著利用和構造第一質量預測模型，記為g₁(y₁)，其中，g₁()為函數表示形式，y₁用于表示圖像質量矢量，且作為第一質量預測模型的輸入矢量，為的轉置，為y₁的線性函數；

同樣，將中的所有失真立體圖像的圖像質量矢量和平均主觀評分差值構成第二訓練樣本數據集合；然后采用支持向量回歸作為機器學習的方法，對第二訓練樣本數據集合中的所有圖像質量矢量進行訓練，使得經過訓練得到的回歸函數值與主觀質量推薦值之間的誤差最小，擬合得到最優的權重矢量和最優的偏置項接著利用和構造第二質量預測模型，記為g₂(y₂)，其中，g₂()為函數表示形式，y₂用于表示圖像質量矢量，且作為第二質量預測模型的輸入矢量，為的轉置，為y₂的線性函數；

同樣，將中的所有失真立體圖像的圖像質量矢量和平均主觀評分差值構成第三訓練樣本數據集合；然后采用支持向量回歸作為機器學習的方法，對第三訓練樣本數據集合中的所有圖像質量矢量進行訓練，使得經過訓練得到的回歸函數值與主觀質量推薦值之間的誤差最小，擬合得到最優的權重矢量和最優的偏置項接著利用和構造第三質量預測模型，記為g₃(y₃)，其中，g₃()為函數表示形式，y₃用于表示圖像質量矢量，且作為第三質量預測模型的輸入矢量，為的轉置，為y₃的線性函數；

①_4、計算中的每幅失真立體圖像中的每個像素點的局部相位特征和局部振幅特征，得到中的每幅失真立體圖像的局部相位圖像和局部振幅圖像，將的局部相位圖像和局部振幅圖像對應記為和然后將中的所有失真立體圖像的局部相位圖像構成的集合記為并將中的所有失真立體圖像的局部振幅圖像構成的集合記為

同樣，計算中的每幅失真立體圖像中的每個像素點的局部相位特征和局部振幅特征，得到中的每幅失真立體圖像的局部相位圖像和局部振幅圖像，將的局部相位圖像和局部振幅圖像對應記為和然后將中的所有失真立體圖像的局部相位圖像構成的集合記為并將中的所有失真立體圖像的局部振幅圖像構成的集合記為

同樣，計算中的每幅失真立體圖像中的每個像素點的局部相位特征和局部振幅特征，得到中的每幅失真立體圖像的局部相位圖像和局部振幅圖像，將的局部相位圖像和局部振幅圖像對應記為和然后將中的所有失真立體圖像的局部相位圖像構成的集合記為并將中的所有失真立體圖像的局部振幅圖像構成的集合記為

①_5、將中的每幅局部相位圖像和中的每幅局部振幅圖像分別劃分成個互不重疊的尺寸大小為8×8的子塊；然后將中的每幅局部相位圖像中的每個子塊中的所有像素點的像素值按序組成該子塊的圖像特征矢量，將中的所有局部相位圖像中的第k個子塊中的所有像素點的像素值按序組成的圖像特征矢量記為并將中的每幅局部振幅圖像中的每個子塊中的所有像素點的像素值按序組成該子塊的圖像特征矢量，將中的所有局部振幅圖像中的第k個子塊中的所有像素點的像素值按序組成的圖像特征矢量記為接著將中的所有局部相位圖像中的子塊的圖像特征矢量構成的集合記為并將中的所有局部振幅圖像中的子塊的圖像特征矢量構成的集合記為其中，符號為向下取整運算符號，1≤k≤M，和的維數均為64×1；

同樣，將中的每幅局部相位圖像和中的每幅局部振幅圖像分別劃分成個互不重疊的尺寸大小為8×8的子塊；然后將中的每幅局部相位圖像中的每個子塊中的所有像素點的像素值按序組成該子塊的圖像特征矢量，將中的所有局部相位圖像中的第k個子塊中的所有像素點的像素值按序組成的圖像特征矢量記為并將中的每幅局部振幅圖像中的每個子塊中的所有像素點的像素值按序組成該子塊的圖像特征矢量，將中的所有局部振幅圖像中的第k個子塊中的所有像素點的像素值按序組成的圖像特征矢量記為接著將中的所有局部相位圖像中的子塊的圖像特征矢量構成的集合記為并將中的所有局部振幅圖像中的子塊的圖像特征矢量構成的集合記為其中，和的維數均為64×1；

同樣，將中的每幅局部相位圖像和中的每幅局部振幅圖像分別劃分成個互不重疊的尺寸大小為8×8的子塊；然后將中的每幅局部相位圖像中的每個子塊中的所有像素點的像素值按序組成該子塊的圖像特征矢量，將中的所有局部相位圖像中的第k個子塊中的所有像素點的像素值按序組成的圖像特征矢量記為并將中的每幅局部振幅圖像中的每個子塊中的所有像素點的像素值按序組成該子塊的圖像特征矢量，將中的所有局部振幅圖像中的第k個子塊中的所有像素點的像素值按序組成的圖像特征矢量記為接著將中的所有局部相位圖像中的子塊的圖像特征矢量構成的集合記為并將中的所有局部振幅圖像中的子塊的圖像特征矢量構成的集合記為其中，和的維數均為64×1；

①_6、將中的每幅失真立體圖像劃分成個互不重疊的尺寸大小為8×8的子塊；然后采用6種不同的全參考圖像質量評價方法分別獲取中的每幅失真立體圖像中的每個子塊的客觀評價預測值；接著將中的每幅失真立體圖像中的每個子塊的6個客觀評價預測值按序組成該子塊的圖像質量矢量，將中的所有失真立體圖像中的第k個子塊的6個客觀評價預測值按序組成的圖像質量矢量記為y_1,k；再將中的所有失真立體圖像中的所有子塊的圖像質量矢量構成的集合記為{y_1,k|1≤k≤M}；其中，y_1,k的維數為6×1；

同樣，將中的每幅失真立體圖像劃分成個互不重疊的尺寸大小為8×8的子塊；然后采用6種不同的全參考圖像質量評價方法分別獲取中的每幅失真立體圖像中的每個子塊的客觀評價預測值；接著將中的每幅失真立體圖像中的每個子塊的6個客觀評價預測值按序組成該子塊的圖像質量矢量，將中的所有失真立體圖像中的第k個子塊的6個客觀評價預測值按序組成的圖像質量矢量記為y_2,k；再將中的所有失真立體圖像中的所有子塊的圖像質量矢量構成的集合記為{y_2,k|1≤k≤M}；其中，y_2,k的維數為6×1；

同樣，將中的每幅失真立體圖像劃分成個互不重疊的尺寸大小為8×8的子塊；然后采用6種不同的全參考圖像質量評價方法分別獲取中的每幅失真立體圖像中的每個子塊的客觀評價預測值；接著將中的每幅失真立體圖像中的每個子塊的6個客觀評價預測值按序組成該子塊的圖像質量矢量，將中的所有失真立體圖像中的第k個子塊的6個客觀評價預測值按序組成的圖像質量矢量記為y_3,k；再將中的所有失真立體圖像中的所有子塊的圖像質量矢量構成的集合記為{y_3,k|1≤k≤M}；其中，y_3,k的維數為6×1；

①_7、采用K-SVD方法對由{y_1,k|1≤k≤M}、{y_2,k|1≤k≤M}和{y_3,k|1≤k≤M}構成的集合進行聯合字典訓練操作，構造得到各自的圖像特征字典表和圖像質量字典表，對應記為和其中，和的維數均為64×K，和的維數均為6×K，K表示設定的字典的個數，K≥1；

同樣，采用K-SVD方法對由{y_1,k|1≤k≤M}、{y_2,k|1≤k≤M}和{y_3,k|1≤k≤M}構成的集合進行聯合字典訓練操作，構造得到和各自的圖像特征字典表和圖像質量字典表，對應記為和其中，和的維數均為64×K，和的維數均為6×K；

所述的測試階段過程的具體步驟如下：

②_1、對于任意一幅寬度為W'且高度為H'的測試立體圖像S_test，將S_test的左視點圖像記為L_test，將S_test的右視點圖像記為R_test；其中，W'與W相同或不相同，H'與H相同或不相同；

②_2、采用與步驟①_4相同的操作，獲取S_test、L_test和R_test各自的局部相位圖像和局部振幅圖像，將L_test的局部相位圖像和局部振幅圖像對應記為和將R_test的局部相位圖像和局部振幅圖像對應記為和

②_3、將和分別劃分成個互不重疊的尺寸大小為8×8的子塊；然后將中的每個子塊中的所有像素點的像素值按序組成該子塊的圖像特征矢量，將中的第t個子塊中的所有像素點的像素值按序組成的圖像特征矢量記為并將中的每個子塊中的所有像素點的像素值按序組成該子塊的圖像特征矢量，將中的第t個子塊中的所有像素點的像素值按序組成的圖像特征矢量記為將中的每個子塊中的所有像素點的像素值按序組成該子塊的圖像特征矢量，將中的第t個子塊中的所有像素點的像素值按序組成的圖像特征矢量記為將中的每個子塊中的所有像素點的像素值按序組成該子塊的圖像特征矢量，將中的第t個子塊中的所有像素點的像素值按序組成的圖像特征矢量記為接著將中的所有子塊的圖像特征矢量構成的集合記為并將中的所有子塊的圖像特征矢量構成的集合記為將中的所有子塊的圖像特征矢量構成的集合記為將中的所有子塊的圖像特征矢量構成的集合記為其中，和的維數均為64×1；

②_4、根據在訓練階段過程構造得到的分別優化重構和各自中的每個圖像特征矢量的第一稀疏系數矩陣，將的第一稀疏系數矩陣記為是采用K-SVD方法求解得到的，將的第一稀疏系數矩陣記為是采用K-SVD方法求解得到的；

同樣，根據在訓練階段過程構造得到的分別優化重構和各自中的每個圖像特征矢量的第二稀疏系數矩陣，將的第二稀疏系數矩陣記為是采用K-SVD方法求解得到的，將的第二稀疏系數矩陣記為是采用K-SVD方法求解得到的；

同樣，根據在訓練階段過程構造得到的分別優化重構和各自中的每個圖像特征矢量的第三稀疏系數矩陣，將的第三稀疏系數矩陣記為是采用K-SVD方法求解得到的，將的第三稀疏系數矩陣記為是采用K-SVD方法求解得到的；

同樣，根據在訓練階段過程構造得到的分別優化重構和各自中的每個圖像特征矢量的第一稀疏系數矩陣，將的第一稀疏系數矩陣記為是采用K-SVD方法求解得到的，將的第一稀疏系數矩陣記為是采用K-SVD方法求解得到的；

同樣，根據在訓練階段過程構造得到的分別優化重構和各自中的每個圖像特征矢量的第二稀疏系數矩陣，將的稀疏系數矩陣記為是采用K-SVD方法求解得到的，將的第二稀疏系數矩陣記為是采用K-SVD方法求解得到的；

同樣，根據在訓練階段過程構造得到的分別優化重構和各自中的每個圖像特征矢量的第三稀疏系數矩陣，將的第三稀疏系數矩陣記為是采用K-SVD方法求解得到的，將的第三稀疏系數矩陣記為是采用K-SVD方法求解得到的；

其中，和的維數均為K×1，min()為取最小值函數，符號“|| ||_F”為求取矩陣的弗羅貝尼烏斯范數-范數符號，符號“|| ||₁”為求取矩陣的1-范數符號，λ為拉格朗日參數；

②_5、根據在訓練階段過程構造得到的分別估計和各自中的每個子塊的第一圖像質量矢量，將中的第t個子塊的第一圖像質量矢量記為將中的第t個子塊的第一圖像質量矢量記為

同樣，根據在訓練階段過程構造得到的分別估計和各自中的每個子塊的第二圖像質量矢量，將中的第t個子塊的第二圖像質量矢量記為將中的第t個子塊的第二圖像質量矢量記為

同樣，根據在訓練階段過程構造得到的分別估計和各自中的每個子塊的第三圖像質量矢量，將中的第t個子塊的第三圖像質量矢量記為將中的第t個子塊的第三圖像質量矢量記為

同樣，根據在訓練階段過程構造得到的分別估計和各自中的每個子塊的第一圖像質量矢量，將中的第t個子塊的第一圖像質量矢量記為將中的第t個子塊的第一圖像質量矢量記為

同樣，根據在訓練階段過程構造得到的分別估計和各自中的每個子塊的第二圖像質量矢量，將中的第t個子塊的第二圖像質量矢量記為將中的第t個子塊的第二圖像質量矢量記為

同樣，根據在訓練階段過程構造得到的分別估計和各自中的每個子塊的第三圖像質量矢量，將中的第t個子塊的第三圖像質量矢量記為將中的第t個子塊的第三圖像質量矢量記為

其中，和的維數均為6×1；

②_6、計算中的每個子塊的多失真融合稀疏系數矩陣和多失真融合圖像質量，將中的第t個子塊的多失真融合稀疏系數矩陣和多失真融合圖像質量對應記為和

其中，exp()表示以自然基數e為底的指數函數，符號“|| ||₂”為求取矩陣的2-范數符號，η為控制參數，為的輸入矢量；

同樣，計算中的每個子塊的多失真融合稀疏系數矩陣和多失真融合圖像質量，將中的第t個子塊的多失真融合稀疏系數矩陣和多失真融合圖像質量對應記為和其中，為的輸入矢量；

同樣，計算中的每個子塊的多失真融合稀疏系數矩陣和多失真融合圖像質量，將中的第t個子塊的多失真融合稀疏系數矩陣和多失真融合圖像質量對應記為和其中，為的輸入矢量；

同樣，計算中的每個子塊的多失真融合稀疏系數矩陣和多失真融合圖像質量，將中的第t個子塊的多失真融合稀疏系數矩陣和多失真融合圖像質量對應記為和其中，為的輸入矢量；

②_7、計算的全局稀疏系數矩陣和全局圖像質量，對應記為和Q^L,P，

同樣，計算的全局稀疏系數矩陣和全局圖像質量，對應記為和Q^R,P，

同樣，計算的全局稀疏系數矩陣和全局圖像質量，對應記為和Q^L,A，

同樣，計算的全局稀疏系數矩陣和全局圖像質量，對應記為和Q^R,A，

②_8、根據和及Q^L,P和Q^R,P，計算S_test的局部相位圖像的質量客觀評價預測值，記為Q^P，Q^P＝ω^L,P×Q^L,P+ω^R,P×Q^R,P；其中，ω^L,P為Q^L,P的權值，ω^R,P為Q^R,P的權值，符號“< >”為求內積符號，C為控制參數；

同樣，根據和及Q^L,A和Q^R,A，計算S_test的局部振幅圖像的質量客觀評價預測值，記為Q^A，Q^A＝ω^L,A×Q^L,A+ω^R,A×Q^R,A；其中，ω^L,A為Q^L,A的權值，ω^R,A為Q^R,A的權值，

②_9、根據Q^P和Q^A，計算S_test的圖像質量客觀評價預測值，記為Q，Q＝(ω^P×(Q^P)ⁿ+(1-ω^P)×(Q^A)ⁿ)^1/n；其中，ω^P和n均為加權參數。