[發明專利]3D圖像數據分割的方法和裝置

有效

• 申請號: 201280078212.0
• 申請日: 2012-12-12
• 公開（公告）號: CN104982032B
• 公開（公告）日: 2018-09-07
• 發明（設計）人: 基奧萬尼·科達拉;愛默德·鮑阿齊齊;盧卡斯·康德拉德
• 申請（專利權）人: 華為技術有限公司
• 主分類號: H04N13/128
• 分類號: H04N13/128
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明提供了一種基于多個視圖之間的局部特征對應關系的3D圖像數據的實時對象分割的方法和裝置。為了減少3D圖像數據的對象分割的計算工作量，基于關于圖像數據的局部特征的對應關系和深度圖執行分割過程。這樣，計算工作量可以顯著減少，而且圖像分割可以快速執行。

技術領域

本發明涉及一種3D圖像數據分割的方法和裝置。具體而言，本發明涉及一種基于局部特征對應關系的3D圖像數據中的實時對象分割的方法和裝置。

背景技術

近來，已經可以向用戶呈現3D圖像內容。預期在未來幾年內3D設備和視頻內容的量將迅速增加。

一方面，當前的3D顯示技術可以重建聚合效應，即，兩只眼睛在相反方向的垂直旋轉以維持雙目視覺。另一方面，由于所得圖像顯示在平面上，所以適應性條件等其它重要深度線索在焦距變化時無法準確地再現。因此，在較遠屏幕上顯示較近對象時，較強的正視差可能會導致視覺體驗不佳。已為標準電影屏幕優化的視頻內容看起來與電視屏幕或手持式顯示設備上的完全不同。因此，圖像數據，尤其是與觀察者距離最近和最遠的對象的深度值的差異必須適配不同應用的特殊屬性以維持高質量的深度知覺。該操作被稱為為內容重定向或內容重映射。

內容重定向通常是指為了將內容適配為所需上下文而對圖像或視頻幀進行的調整。在3D視頻內容領域，內容重定向執行與3D視頻序列有關的深度范圍的調整以根據終端能力和視距來優化感知。調整深度最直接的方式是根據可用深度范圍線性地移動深度。然而，這可能會導致場景中對象的扁平化?；蛘?，可以執行非線性深度調整。非線性深度調整可能允許對例如前景中的全部對象應用位移。這可能導致3D用戶體驗的明顯改善。此外，非線性深度調整在場景操作中提供更多的自由。

為了執行非線性深度調整，需要識別3D場景中的唯一對象。這樣，可以在重定向階段執行各個對象的深度值的獨立操作。例如，前景對象可以移至圖像最前面。背景對象可以移至后面。被分割的對象的不同部分之間的深度比仍可以保留。

然而，用于重定向的傳統方法，特別是用于非線性深度操作中的圖像分割的傳統方法，通常分析圖像的各個像素。由于圖像中存在大量像素，所以這些方法需要龐大的計算資源。

如上所述，3D設備數量穩步增長。為了使3D視頻內容適配各個設備，每個設備必須對圖像數據進行重定向。然而，諸如移動設備之類的小型設備只能提供有限的計算能力。

因此，需要一種提供3D圖像內容的有效圖像分割的方法和裝置。

同樣需要3D圖像內容的圖像分割，其可實時應用于計算資源有限的3D圖像設備上。

發明內容

根據第一方面，提供了一種3D圖像的3D圖像數據分割方法。所述3D圖像包括所述圖像的至少兩個視圖，所述圖像的第一視圖和所述圖像的第二視圖。所述方法包括確定所述3D圖像的第一視圖的局部特征；確定所述3D圖像的第二視圖的局部特征；確定所述3D圖像的所述第一視圖和所述第二視圖的所述確定的局部特征之間的局部特征對應關系；以及基于所述3D圖像的所述確定的局部特征對應關系和深度圖將所述3D圖像數據分割為多個深度區域。

通過分析所述局部特征對應關系，可以確定有關3D圖像中相鄰對象的非常可靠信息。這樣，一種識別圖像數據中的對象從而允許實時分割3D圖像數據的非常有效方法是有可能的。

根據如上所述第一方面的所述方法的第一實施形式，所述分割還包括量化所述3D圖像的所述深度圖；以及通過確定具有相同量化深度值的相鄰深度圖元素識別所述深度區域。

根據所述第一方面的所述第一實施形式的所述方法的第二實施形式，所述分割還包括計算所述第一和所述第二視圖中的對應局部特征的空間位移值，將所述空間位移值與預定位移值進行比較，以及消除所述空間位移值大于所述預定位移值的錯誤或有誤局部特征對應關系。

這樣，具有較大空間位移值的異常值可以很容易識別和消除，以便實現非?？煽康?D圖像數據分割。