[發(fā)明專利]生成圖像的深度圖的方法及相關存儲介質

有效

• 申請?zhí)枺?/td>: 201710367433.4
• 申請日: 2013-10-28
• 公開（公告）號: CN107277491B
• 公開（公告）日: 2019-04-30
• 發(fā)明（設計）人: 吳琛;D.穆克赫吉;M.王
• 申請（專利權）人: 谷歌公司
• 主分類號: H04N13/261
• 分類號: H04N13/261;G06T7/593
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 錢大勇

提供生成圖像的深度圖的方法及相關存儲介質。該方法包括：訪問包括多個像素的圖像，每個像素具有圖像中的顏色和位置；基于像素的顏色來確定圖像的顏色深度圖；基于像素的位置和多個其他圖像中相似位置的像素的歷史深度信息確定圖像的空間深度圖；基于圖像中的像素運動確定圖像的運動深度圖；確定顏色深度圖權重、空間深度圖權重和運動深度圖權重，基于多個其他圖像中相似位置中的像素的歷史深度方差信息確定描述歷史深度信息的差異的空間深度圖權重；和從由顏色深度圖權重加權的顏色深度圖、由空間深度圖權重加權的空間深度圖和由運動深度圖權重加權的運動深度圖的組合來生成圖像的組合深度圖。

本案是申請日為2013年10月28日、申請?zhí)枮?01380055544.1、發(fā)明名稱為“基于組合的深度提示從單視場圖像生成深度圖”的發(fā)明專利申請的分案申請。

技術領域

本公開涉及視頻處理，并且具體地，涉及單視場圖像向立體3D圖像的轉換。

背景技術

立體或者“3D”視頻通過仿真立體視覺增強深度感知的錯覺，從而通過視差的仿真創(chuàng)造了深度的錯覺。然而，延緩立體視頻的普遍采用的一個方面是立體格式的視頻的可用性。傳統(tǒng)上講，生成立體視頻的主要方法是使用從不同視點設置角度的兩臺不同的相機進行立體拍攝以捕獲深度信息。由于與立體拍攝相關聯(lián)的難度和成本，至今比較少的立體視頻已經(jīng)被生成。

此外，盡管目前有可能從單視場圖像創(chuàng)建立體視頻，但是一些現(xiàn)有技術依賴于對象分割以識別圖像內的對象，然后近似來確定對象相對于圖像平面的深度。對象分割可能錯誤地確定對象的邊界，引起錯誤的深度賦值，錯誤的深度賦值使得觀看者很難辨別圖像中的什么對象突出而什么對象凹陷。因此，現(xiàn)有技術通常不能夠以一致并精確的方式從描繪圖像中的對象的深度的單視場圖像創(chuàng)建立體圖像。

發(fā)明內容

基于用于圖像的顏色深度圖、空間深度圖和運動深度圖的加權組合針對單視場圖像生成了組合的深度圖，其中圖中的每個圖描述圖像中的每個像素相對于圖像平面的深度。在一個實施例中，單個深度圖中的每個深度圖與用于計算組合的深度圖的權重相關聯(lián)。權重可以自適應地說明不同單視場圖像之間的變化。在一些情況下，深度圖可以與權重集相關聯(lián)，每個權重對應于圖像的一部分，權重集包括每個單獨的像素或者像素組的權重。

顏色深度圖基于像素的顏色來描述圖像中的每個像素的深度。基于確定具有相似顏色的像素很有可能具有相似的深度來生成顏色深度圖，顏色深度圖提供將像素的顏色與其深度的確定關聯(lián)的顏色深度函數(shù)。在一個實施例中，基于圖像中顏色的分布來確定用于顏色深度圖的權重。根據(jù)顏色對比度來縮放顏色深度圖權重，該顏色對比度表示用于基于顏色來量化深度的置信度。

通過對跨眾多典型單視場圖像的每個位置處的像素的深度取平均值來生成空間深度圖。在生成空間深度圖中，指示每個像素位置處的像素深度的方差的方差圖也可以被生成?；谟煞讲顖D指示的方差來確定空間深度圖權重。針對待分析的每個像素位置，訪問了方差圖并且反向于每個位置處的方差來縮放空間深度圖權重。

運動深度圖使用具有較快運動的像素更靠近圖像的前景的判定基于它們的局部運動來確定像素的深度。通過從兩幀之間的像素的總體運動減去相機運動來計算局部運動。運動深度函數(shù)將所計算的局部運動與像素深度的圖相關聯(lián)?；趫D像中的運動量來確定用于運動深度圖的權重。圖像中的具有局部運動的像素的百分比被確定，并且運動深度圖權重按照移動像素的百分比的函數(shù)被增加或者減少。