[發明專利]基于立體感知特性的立體圖像質量評價方法

有效

• 申請號: 201710566719.5
• 申請日: 2017-07-12
• 公開（公告）號: CN109272479B
• 公開（公告）日: 2021-11-02
• 發明（設計）人: 楊嘉琛;汪亞芳;姜斌;朱英豪;計春祺
• 申請（專利權）人: 天津大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/42
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 吳學穎

1.基于立體感知特性的立體圖像質量評價方法，每個失真立體圖像對由左視圖和右視圖組成，其特征在于，包括以下步驟：

第一步：模擬人類立體視覺特性，根據視差匹配算法計算左、右視點的視差圖；其中，視差圖的計算充分考慮人類感知立體場景產生的直觀深度感知，即有屏前、屏后的區分；在此基礎上分別以左、右視圖作為基準圖像，得出有正、負視差區分的相對視差圖；

視差匹配算法通過以左、右視圖分別作為基準圖像，將另一幅圖像做平移，在平移過程中根據最高相關性系數得到最佳匹配點，具體地，

(1)計算左、右視圖的水平梯度圖，計算公式如下：

其中，D_l、D_r分別為左視圖和右視圖，為左視圖的水平梯度圖，為右視圖的水平梯度圖；

(2)以左視圖作為基準圖像，對右視圖進行平移，以20個像素點作為最大視差距離；在進行每一次平移的過程中，計算左、右視圖的相似度圖和梯度相似度圖，相似度的計算如以下公式：

SSIM(x,y)＝l(x,y)·c(x,y)·s(x,y)

其中，l(x,y)為亮度對比，c(x,y)為對比度，s(x,y)為結構相關度；三個部分的計算公式分別為下：

其中，μ_x和μ_y分別為左視圖的像素均值和右視圖的像素均值，σ_x和σ_y分別為左視圖的像素方差和右視圖的像素方差，σ_xy為左右視圖的像素協方差，C₁、C₂和C₃為調節常量；

然后對得到的相似度圖和梯度相似度圖用7×7的窗口進行濾波，最終左視圖與平移后的右視圖的相似度用以下公式計算得到：

corr(x,y)＝SSIM(x,y)+5·GSSIM(x，y)

其中，SSIM(x，y)和GSSIM(x，y)分別為相似度和梯度相似度；

這樣，在進行1～20個像素點的平移過程中每個像素點的相似度不斷更新為最大相似度，對應的平移像素差即為最優匹配視差；

(3)以右視圖作為基準圖像，重復(2)操作，同樣得到最優匹配視差和對應點的像素差，比較兩組視差圖中對應的像素差的大小，像素差小的對應的最優視差為最終的絕對視差；

(4)在得到絕對視差后，需要根據人眼的直接立體感知特性將絕對視差修正為相對視差；即若左像素點的在右視圖中的匹配點位于其相對右的方向，則將視差標記為正視差，若左像素點的在右視圖中的匹配點位于其相對左的位置，則將視差標記為負視差，得到最終的相對視差圖；

第二步：根據以下視差與深度的關系公式，計算得到深度感知圖DPM：

其中，l表示雙眼到屏幕的距離，P表示相對視差，e為雙眼間距；

第三步：對深度感知圖、左視圖、右視圖分別采用db7做四層小波分解；

第四步：提取每一層的低-高、高-低、高-高三個子帶的系數，共計12個子帶；

第五步：求解第一層中每個子帶的幅值、方差和熵特征；

其中，m_k表示第k個子帶的幅值，v_k表示第k個子帶的方差，e_k表示第k個子帶的熵，C_k(i,j)表示第k個子帶(i,j)點處的小波系數，M_k和N_k分別表示第k個子帶的長度和寬度，p[·]是子帶系數的概率密度函數；

第六步：將剩下三層中每個子帶的幅值、方差和熵做與第五步相同的處理，最終每幅圖像得到24個特征；

第七步：按照第四步到第六步的描述，計算深度感知圖、左視圖、右視圖每幅圖像的頻域統計特性，共計72個特征；

第八步：將圖像庫中的圖像隨機分為兩部分，其中80％的失真立體圖像對用深度信念網絡對得到的特征進行訓練，根據訓練得到的模型對剩下的20％的失真圖像對的質量做預測，最終得到立體圖像的質量。

2.根據權利要求1所述的基于立體感知特性的立體圖像質量評價方法，其特征在于，第八步中訓練和測試圖像樣本的工具是深度信念網絡：對左視圖、右視圖和深度感知圖分別應用深度學習網絡，共3個網絡；訓練過程分為兩個階段：無監督預訓練和微調過程；在無監督學習過程中，包括1個可視層和3個隱層；對左視圖和右視圖的網絡，設定隱層節點為90-70-50；對深度感知圖的網絡，設定隱層節點為60-50-40；學習率均為0.0005；在微調階段，代價函數如下：

其中，f_i為第三個隱層的輸出向量，s_i為主觀質量分數，N是訓練樣本數；

這樣，最小化代價函數的方法為：

其中，w_i是第i個樣本的權重矩陣，b是偏差值，K(·)為核函數。