[發明專利]計算深度圖

有效

• 申請號: 200880023190.1
• 申請日: 2008-06-24
• 公開（公告）號: CN101720480A
• 公開（公告）日: 2010-06-02
• 發明（設計）人: R·弗伯格;H·A·G·范帕里斯
• 申請（專利權）人: 皇家飛利浦電子股份有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 李舒;譚祐祥

技術領域

本發明涉及計算深度圖。

背景技術

為了在多視圖顯示設備上產生3D印象，必須再現來自不同虛擬視點 的圖像。這就需要存在多輸入視圖或一些3D或深度信息。從多視圖相機 系統產生的或從傳統的2D視頻資料產生的該深度信息可被記錄。為了從 2D視頻產生深度信息，可以應用多種類型的深度暗示：諸如運動恢復結 構(structure?from?motion)、聚焦信息、幾何形狀以及動態遮蔽。所 得到的深度圖隨后被用于再現多視圖圖像以給觀眾提供深度印象。

WO2005/083631公開了針對圖像的各個像素產生深度圖的方法，該 深度圖包括表示到觀眾的距離的深度值。該方法包括：通過結合像素(所 述像素設置在從第一個像素到屬于圖像像素的預定子集的第二個像素的 路徑上)值之間的差，計算針對圖像的第一個像素的成本值；并基于成 本值來分配對應于第一個像素的第一個深度值。

所引用的方法基于以下觀察。場景中將要成像的對象具有不同的尺 寸、亮度以及顏色，并且具有一定的空間部署。一些對象遮蔽了圖像中 的其它對象。圖像中像素的亮度和/或色值間的差主要與對象表面的光特 性間的差有關、以及與場景內對象相對于光源的空間位置有關。表面的 光特性包括例如顏色和反射率。因此，亮度和/或顏色的較大轉變或者鄰 近像素的像素值之間的較大差對應于第一圖像段和第二圖像段之間的轉 變，籍此，在被成像的場景中，第一圖像段對應于第一對象，而第二圖 像段對應于第二對象。通過針對圖像的像素確定亮度和/或顏色轉變的次 數和延伸、或者在從各個像素到圖像的預定位置的路徑上的像素值之間 的差，可以獲得與場景中對象的空間部署有關的相應度量。這些度量或 成本值隨后被轉換成深度值。這種轉換優選是成本值與預定常數相乘。 可替代地，這種轉換對應于各個成本值到預定范圍的深度值的借助于歸 一化的映射。應注意，背景也形成一個或多個對象，例如天空或森林或 牧場。

基于亮度和/或顏色瞬變的深度值能夠被直接用作用于再現多視圖 圖像的深度值。

發明內容

擁有用于計算深度圖的改良系統將是有利的。為了更好地解決該問 題，在本發明的第一方面，提出了一種能夠針對圖像的各個像素計算深 度圖的系統，該深度圖包括表示到觀眾的距離的深度值，該系統包括：

優化單元，用于確定當前像素的深度相關成本值，該深度相關成本 值是多個候選成本值之中的最小成本值，其中：

至少一個候選成本值基于當前像素的局部鄰域內的至少一個像素的 深度相關成本值、以及基于局部鄰域內至少一個像素的顏色屬性和當前 像素的對應顏色屬性之間的差，以及

至少一個候選成本值基于與局部鄰域外的至少一個像素有關的深度 相關成本值、以及基于局部鄰域外至少一個像素的顏色屬性和當前像素 的對應顏色屬性之間的差；

該系統還包括分配器，用于依賴所確定的深度相關成本值向當前像 素分配深度值。

該系統基于以下構思：深度的變化通常與對象邊界一致，且對象邊 界通常與顏色屬性的變化一致。因此，通過考慮當前像素的局部鄰域內 的像素的深度以及相對于與這些像素有關的至少一個顏色屬性的差，可 估計當前像素的深度。所述局部鄰域優選包括距當前像素足夠近以便能 夠觀察發生在當前像素上的顏色屬性的局部變化的像素。然而，只查看 鄰域中的像素導致不切實際的深度圖，因為不能確定當前像素是否屬于 在圖像的其它任何地方也可見的對象，因此，對象的不同部分不總是被 分配相似的深度值。通過考慮鄰域外的至少一個像素，這種情形得到改 進。

優選地，所提到的差是絕對差。同樣優選地，與至少一個像素(鄰 域內或外)有關的成本值被加到相應的絕對差上，以獲得候選成本值。

作為中間步驟，與深度值有關的成本函數被確定，例如成本函數可 與深度一致或者與深度成反比。優選地，低成本函數對應于指示遠離觀 眾的位置的深度值，而高成本函數對應于指示靠近觀眾的位置的深度值

實施例包括選擇器，用于從跨越具有大于圖像寬度一半的長度的圖 像區的一組候選者中隨機選擇局部鄰域外的至少一個像素。這樣，在處 理了較少量的當前像素之后，跨越較大圖像區的像素已被考慮。

實施例包括：統計單元908，用于根據與局部鄰域外至少一個像素中 的各個像素有關的各個成本值，計算與局部鄰域外所述至少一個像素有 關的成本值；以及