[發明專利]用于三維視頻流的邊緣形狀加強的方法及設備

有效

• 申請號: 201410513891.0
• 申請日: 2014-09-29
• 公開（公告）號: CN104519348B
• 公開（公告）日: 2019-05-10
• 發明（設計）人: M·格蘭齊托;M·盧森特福特;A·巴蘇;G·巴洛卡;M·S·法瑞德
• 申請（專利權）人: 西斯維爾科技有限公司
• 主分類號: H04N17/00
• 分類號: H04N17/00;H04N13/106
• 代理公司: 中國國際貿易促進委員會專利商標事務所 11038
• 代理人: 金曉

本發明涉及一種用于三維視頻流的邊緣形狀加強的方法及設備。描述了用于三維視頻內容中邊緣校正的方法，所述視頻內容包括至少一個原始視圖圖像和至少一個深度或視差圖，該方法包括以下步驟：?檢測至少一個原始視圖圖像中的邊緣，以獲得原始邊緣；?根據所述深度或視差圖扭曲所述原始邊緣；?校正所述改變的邊緣，以獲得校正的邊緣。

技術領域

本發明涉及邊緣形狀加強的方法及設備，用于三維視頻流的基于深度圖像渲染的視覺增強。

背景技術

3D顯示技術的最新進展連同許多對3D TV成功的技術挑戰一起到來。已經提出了多種多樣的用于高效編碼、傳輸和渲染的技術。由于對可用于發送多個視圖的數據速率的約束，只有少數幾個原始視圖可以以其深度輸送，而其它中間視圖是利用基于深度圖像的渲染(DIBR)技術從可用的視圖及其深度生成的。通常，兩個或三個視圖以及它們對應的深度用來渲染中間視圖。任何DIBR技術的目標都是在虛擬視圖中實現高視覺質量。當深度由于估計或測量誤差、量化和/或有損壓縮而不準確時，這是個具有挑戰性的任務。

幾乎所有視圖合成技術都在兩階段中操作：首先，原始視圖被扭曲(warp)并融合到一起，以生成中間視圖；然后，通過各種修補方法來恢復中間視圖中缺失的區域。每個像素的新位置取決于它的深度和相機參數。深度的小誤差可能會造成像素最終位置的大的變化。視圖合成的第二階段被稱為孔填充或修補。

最典型的情況是在兩個原始視圖(即對應深度圖附帶的左和右視圖)之間生成中間視圖。

令V_l和V_r是具有對應深度D_l、D_r的兩個輸入視圖，其中深度被量化為8位的整數。令Z_n和Z_f分別是最近和最遠的深度。最常見的設置是具有相機焦距f的水平相機設置，其中b_l，b_r被分別是左相機和右相機的位置。通常，b=b_r-b_l稱為相機基線。令V_m為將要估計的中間虛擬視圖。對于V_m，虛擬相機的位置將是為了生成V_m，左視圖的像素被扭曲到目標中間虛擬相機；類似地，右視圖被扭曲到中間視圖。然后，所獲得的兩個虛擬視圖融合，以得到最終的虛擬視圖。這兩個中間視圖通常彼此互補并且允許填充大部分遮擋(occlusion)。令V′_l是左虛擬視圖。由于水平相機布置，通過對像素坐標施加水平移位而從V_l獲得V′_l的。給定像素位置(u，v)∈V_l，扭曲后的位置(u′，v′)∈V′_l使得u′=u并且v′=v-δ。列移位δ如下計算：

其中d是坐標為(u，v)的原始像素的深度。

通常以量化視差(disparity)的形式提供深度(即，反向深度)。我們使用記法D_l(D_r)來識別這種量化的深度圖。實際深度可以如下計算：

類似地，計算右虛擬視圖V′_r(對于右虛擬視圖，將δ加到原始列數值，以得到扭曲后的位置)。最后，兩個虛擬視圖融合到一起，以得到中間視圖V_m，并且通過某種修補算法恢復孔。

由于許多問題，例如糾正誤差、不完美的色彩校正和誤算的深度信息，DIBR技術能夠產生通常受一些明顯偽像影響的中間視圖。

因此，需要通過檢測并校正深度或視差信息中的誤差或不準確性來提高三維視頻流的中間視圖的圖像質量。

發明內容

因此，本發明的一個主要目標是提供用于三維視頻流的基于深度圖像渲染的視覺增強的邊緣形狀加強的方法和設備，所述方法和設備克服以上問題/缺陷。