[發明專利]一種基于視覺掩蔽效應的虛擬視點質量評價方法

有效

• 申請號: 201610307584.6
• 申請日: 2016-05-11
• 公開（公告）號: CN105828061B
• 公開（公告）日: 2017-09-29
• 發明（設計）人: 陳芬;焦任直;彭宗舉;蔣剛毅;郁梅
• 申請（專利權）人: 寧波大學
• 主分類號: H04N13/00
• 分類號: H04N13/00;H04N17/00;H04N17/04;G06F17/15;G06F17/30;G06T3/40;G06T5/00;G06T7/00
• 代理公司: 寧波奧圣專利代理事務所(普通合伙)33226
• 代理人: 周玨

技術領域

本發明涉及一種對虛擬視點及繪制系統性能的評價技術，尤其是涉及一種基于視覺掩蔽效應的虛擬視點質量評價方法。

背景技術

近年來，立體視頻技術快速發展。自由視點視頻系統(FVV，Free Viewpoint Video)更是在3D視頻基礎上的進一步發展，可以使用戶獲得更好的視覺體驗效果。基于深度的虛擬視點繪制(DIBR，Depth Image Based Rendering)技術是FVV系統的核心，其能夠克服相機獲取真實視點能力的限制，產生足夠多的虛擬視點。然而，由繪制產生的虛擬視點存在多種類型失真，虛擬視點失真將嚴重影響3D視覺體驗效果，因此需要提出一種評價尺度以衡量虛擬視點質量。虛擬視點質量評價不同于傳統的2D評價尺度，虛擬視點質量評價不僅是對虛擬視點質量的衡量，而且也是對DIBR算法性能的評估。此外，由于虛擬視點繪制失真不同于傳統失真類型，因此傳統的2D評價算法不能有效的衡量虛擬視點質量。

虛擬視點數據來源于解碼端。因此，影響虛擬視點質量的因素主要有兩個：一是接收的深度視頻和彩色視頻的質量；二是虛擬視點繪制算法。在相同的彩色視頻和深度視頻配置下，虛擬視點質量同時也反映了虛擬視點繪制系統的性能。在使用同一虛擬視點繪制算法條件下，虛擬視點質量也反映出解碼端彩色視頻和深度視頻的質量，彩色視頻影響為虛擬視點像素幅值的改變，而深度視頻影響為虛擬視點像素位置的偏移。此外，虛擬視點質量評價可分為虛擬視點視頻質量評價和虛擬視點圖像質量評價。

在基于多視點加深度(MVD，Multi-view Video plus Depth)的FVV系統中，虛擬視點由解碼端彩色視頻和與之相對應的深度視頻繪制產生。DIBR技術的核心思想是利用深度信息和攝像機參數將參考圖像中的像素投影到目標虛擬視點上，主要由以下幾步完成：首先，利用深度信息，將參考圖像中的所有的像素點重投影到與之對應的3D空間中；然后，將這些3D空間點投影到目標圖像平面；最后，對繪制的虛擬視點進行后處理，消除虛擬視點中的失真，主要包括空洞填補和偽影消除過程。

虛擬視點繪制時，通常需要將深度轉化為視差，通過視差可求得參考視點中像素點在虛擬視點中的位置，深度值決定參考視點中像素的偏移距離，若相鄰深度值變化劇烈，則會在兩像素之間產生空洞，深度值變化越尖銳，則產生的空洞越大。由于前景與背景交界處深度值變化較大，因此空洞的產生一般位于前景與背景交界處。前景與背景深度邊界不準使用不同的插值算法進行空洞填補時，則會產生不同的失真。虛擬視點繪制過程中，邊界像素的不可見也會在虛擬視點繪制過程中產生空洞，使用不同的算法進行邊界填補時，產生的失真也不相同。

深度圖獲取算法的限制和深度圖編碼會導致深度估計不準和深度壓縮失真，深度壓縮失真則會造成虛擬視點像素位置偏移和對象扭曲。基于結構相似度的檢測算法則可以很好的檢測出失真偏移區域。對于不同繪制算法繪制出的虛擬視點組成的數據庫，存在以下幾個影響因子：繪制算法、視覺敏感區域和失真分布情況。

由于待評價虛擬視點為不同算法繪制得到，使用不同算法處理圖像邊界空洞和遮擋空洞時，會在虛擬視點中引入不同類型失真和不同程度的對象偏移和扭曲。因此，不同虛擬視點繪制算法將影響虛擬視點質量和虛擬視點失真類型。

由于虛擬視點失真大多為虛擬視點中像素位置偏移和對象扭曲，因此基于結構相似度的評價算法可以很好地檢測出此種類型的失真。然而，對于評價算法檢測出的失真區域，并非所有的失真區域都可以很好的被人眼所察覺，不同區域不同幅度的失真，對人眼的影響效果也不盡相同，紋理復雜度較高或紋理特征相似的區域往往可以容忍更多的繪制失真，而紋理特性變化較大區域的失真往往容易被人眼所察覺。

失真的幅度和失真分布的集中及分散程度也將對人眼有不同的影響效果。若虛擬視點中存在多處失真，則失真程度較大的區域對人眼的影響較為顯著，而失真程度較小的區域對人眼影響較小；失真較為集中的區域對人眼的影響較大，而失真較為分散的區域對人眼的影響較小。若虛擬視點中存在多處失真，幅度較大、分布集中的失真則會將幅度較小、分布離散的失真掩蔽掉，影響人眼的視覺效果。