[發明專利]基于立體感知特性的立體圖像質量評價方法

有效

• 申請號: 201710566719.5
• 申請日: 2017-07-12
• 公開（公告）號: CN109272479B
• 公開（公告）日: 2021-11-02
• 發明（設計）人: 楊嘉琛;汪亞芳;姜斌;朱英豪;計春祺
• 申請（專利權）人: 天津大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/42
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 吳學穎

本發明公開了一種基于立體感知特性的立體圖像質量評價方法：根據視差匹配算法計算左、右視點的視差圖；分別以左、右視圖作為基準圖像，得出相對視差圖；根據視差與深度公式，得到深度感知圖；對深度感知圖、左視圖、右視圖分別采用db7做四層小波分解；提取每一層三個子帶的系數；求解第一層中每個子帶的幅值、方差和熵特征；將剩下三層的系數做上述處理；計算深度感知圖、左視圖、右視圖的頻域統計特性；80％失真立體圖像對進行訓練，20％失真圖像對做預測，得到立體圖像質量。本發明模擬大腦中形成的深度視覺感知圖像，結合圖像內容，以圖像頻域信息作為手段，通過頻域信息的統計特性描述立體圖像質量，做出更加全面、準確的客觀評價。

技術領域

本發明涉及圖像處理領域，更具體的說，是涉及一種基于立體感知特性的立體圖像質量評價方法。

背景技術

立體圖像/視頻能使人身臨其境地體驗到立體感及臨場感，逐漸地成為多媒體研究的主流方向，在市場上的開發與應用需求也越來越迫切，如立體數字電視、3D電影、虛擬現實系統等。然而，立體視頻在采集、存儲、處理以及傳輸中由于立體視頻采集系統、存儲介質、壓縮編碼及傳輸設備等的限制及影響，不可避免地引入噪聲或干擾從而造成在顯示端的立體視頻圖像質量的下降。因此，立體圖像質量評價研究成為立體視頻系統、立體視頻工程和立體視頻處理領域中的關鍵問題。

當前立體圖像質量評價主要分為三類。一類是將2D圖像質量評價的方法分別應用左右視點，再輔以視差進行評價的方法。第二類是基于人來視覺系統(HVS)的評價方法。第三類是基于圖像特征，結合機器學習的方法。以上評價方法在立體圖像質量評價的不同發展階段都取得了比較好的效果，但是由于視差和深度信息獲取的不準確，雙目特性考慮不充分，立體圖像質量評價仍然是當前研究的熱點和難點。

發明內容

本發明的目的是為了克服現有技術中的不足，模擬結合深度感知和圖像內容的人類立體視覺特性，并在此基礎上提供一種基于立體感知特性的立體圖像質量評價方法，充分考慮圖像特征，模擬大腦中形成的深度視覺感知圖像，結合圖像內容，以圖像頻域信息作為手段，通過頻域信息的統計特性描述立體圖像質量，進而做出更加全面、準確的客觀評價。

本發明的目的是通過以下技術方案實現的。

本發明的基于立體感知特性的立體圖像質量評價方法，每個失真立體圖像對由左視圖和右視圖組成，包括以下步驟：

第一步：模擬人類立體視覺特性，根據視差匹配算法計算左、右視點的視差圖；其中，視差圖的計算充分考慮人類感知立體場景產生的直觀深度感知，即有屏前、屏后的區分；在此基礎上分別以左、右視圖作為基準圖像，得出有正、負視差區分的相對視差圖；

第二步：根據視差與深度的關系公式，計算得到深度感知圖；

第三步：對深度感知圖、左視圖、右視圖分別采用db7做四層小波分解；

第四步：提取每一層的低-高、高-低、高-高三個子帶的系數，共計12個子帶；

第五步：求解第一層中每個子帶的幅值、方差和熵特征；

第六步：將剩下三層的系數做與第五步相同的處理，最終每幅圖像得到24個特征；

第七步：按照第四步到第六步的描述，計算深度感知圖、左視圖、右視圖每幅圖像的頻域統計特性，共計72個特征；

第八步：將圖像庫中的圖像隨機分為兩部分，其中80％的失真立體圖像對用深度信念網絡對得到的特征進行訓練，根據訓練得到的模型對剩下的20％的失真圖像對的質量做預測，最終得到立體圖像的質量。

第一步中視差匹配算法通過以左、右視圖分別作為基準圖像，將另一幅圖像做平移，在平移過程中根據最高相關性系數得到最佳匹配點，具體地，

(1)計算左、右視圖的水平梯度圖，計算公式如下：