[發明專利]基于內容感知的不同立體顯示設備的視差調整方法

在審

• 申請號: 201511027430.3
• 申請日: 2015-12-29
• 公開（公告）號: CN105678751A
• 公開（公告）日: 2016-06-15
• 發明（設計）人: 侯春萍;劉琦;閻維青;浦亮洲;王來花
• 申請（專利權）人: 天津大學
• 主分類號: G06T7/00
• 分類號: G06T7/00
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 劉國威

技術領域

本發明屬于圖像處理技術領域，涉及一種基于內容感知的雙目立體圖像的視差調整方法。

背景技術

隨著3D電視以及異質手機等立體顯示設備的廣泛應用，立體3D受到了廣泛關注。然而， 人眼視覺感知和顯示設備特性之間存在復雜的關系，因此不同的立體顯示屏的特性決定了不 同的視差，因此，當同一幅圖像在不同的顯示設備上進行顯示時，觀看者的視覺體驗是不同 的。立體顯示屏的固有特性會影響視差，在這種情況下，觀看者往往會產生不舒適的視覺體 驗，而且這種關系會對各種媒介的立體內容分布產生影響。因此，控制圖像視差對立體3D 的廣泛應用起著不可或缺的作用。

為了制作一幅視覺舒適的立體圖像，在近些年的研究中，提出了一些立體圖像后處理的 方法。Zitnick等人提出了一種圖像的視覺插值法來調整圖像視差，但是該方法往往涉及相機 參數估計、密集立體重建以及封閉場景內容印跡等工作。然而，這些工作不能為一般的場景 和經典的2視點立體鏡頭帶來準確和魯棒性的結果。因此，先前的一些工作允許在具體的應 用場景中使用手動驅動進行視差編輯。然而，該方法在一些場景后期制作的過程中非常昂貴。 Lin等人提出了一種基于裁剪和變形的方法來優化立體3D體驗。Wang等人提出了一種通過 增加顏色和深度信息來修補立體圖像的方法。Smolic等人調查了3D后處理領域最先進的技 術。Goferman等人以及Kang等人分別提出了廣泛接受的顯著性理論，基于內容感知的變形 方法廣泛應用于基于內容感知的3D圖像調整，3D視頻穩定，立體圖像克隆，視差立體圖像 操作。基于內容感知的變形技術的關鍵在于只要顯著區域的變形結果接近于預先定義的邊界， 非顯著區域引入的失真對于觀看者來說就會不明顯。Chang等人提出了一種立體圖像重定位 方法，該方法試圖調整圖像特征點視差，然而，該方法主要關注3D圖像重定位，而沒有考 慮到簡單的視差縮放會引起3D圖像內容的失真。Lang等人提出了一種立體圖像非線性視差 映射方法。為了避免視覺失真，該方法迫使顯著圖像區域大小保持不變，然而，該方法總是 能夠造成視覺失真約束和其視差映射約束之間的沖突。為了減小沖突，他們采取了一種方法 平衡視覺失真約束和視差約束。因此，Lang等人提出的方法不能在實現視差編輯的同時避免 視覺失真。

發明內容

為克服現有技術的不足，本發明的目的是提出不同立體顯示設備的視差調整方法，實現 不迫使圖像顯著區域保持不變，通過視差縮放因子來確定網格細胞縮放因子，為此，本發明 采取的技術方案是，基于內容感知的不同立體顯示設備的視差調整方法，首先使用均勻網格 細胞劃分立體圖像對，之后建立視差映射來控制并且重定位立體場景深度，接下來建立視差 編輯和圖像內容編輯之間的關系來指導提出的變形模型，最后，使用立體網格變形模型避免 顯著區域的失真的同時將視差調整到目標范圍。

首先使用均勻網格細胞劃分立體圖像對，之后建立視差映射來控制并且重定位立體場景 深度，具體步驟是，

1)網格劃分

使用均勻網格細胞M_m×n＝(V,E,F)劃分圖像，其中m×n表示網格細胞的個數，V，E和F 分別表示頂點、邊和四邊形的集合，相應地立體圖像對的右圖網格通過頂點匹配獲得，其中， v_i,j,k，V_i,j,k分別表示原始網格和變形網格中網格細胞的頂點坐標，其中i表示網格細胞橫坐標 的索引值，j表示網格細胞縱坐標的索引值，k表示立體圖像對左右網格的索引值，且 i＝1,…,m；j＝1,…,n；k＝l,r，其中l表示左網格，r表示右網格；

2)視差映射

建立視差映射該視差映射將原始范圍Ω＝[d_min,d_max]映射到目標范圍Ω'＝[d'_min,d'_max]，視差映射的公式如下：

其中，表示視差映射，K表示視差縮放因子，d_min表示原始視差的最小值，d_max表示原始視差的最大值，d'_min表示目標視差的最小值，d'_max表示目標視差的最大值，d_i,j＝v_i,j,r-v_i,j,l表示原始視差。