[發明專利]生成深度圖的方法和裝置

有效

• 申請號: 200910088787.0
• 申請日: 2009-07-16
• 公開（公告）號: CN101605270A
• 公開（公告）日: 2009-12-16
• 發明（設計）人: 戴瓊海;劉繼明;曹汛
• 申請（專利權）人: 清華大學
• 主分類號: H04N13/00
• 分類號: H04N13/00;G06T7/00
• 代理公司: 北京三高永信知識產權代理有限責任公司
• 代理人: 何文彬

技術領域

本發明涉及計算機視覺技術領域，特別涉及一種生成深度圖的方法和裝置。

背景技術

三維圖像和顯示是未來信息系統的一種重要表現形式，三維圖像和顯示層次分明色彩鮮艷，具有很強的視覺沖擊力，讓觀看的人駐景時間更長，留下深刻的印象；另外三維圖像和顯示給人以真實、栩栩如生，人物呼之欲出，有身臨其境的感覺，有很高的藝術欣賞價值。正因為三維圖像和視頻具有這些平面圖像和視頻所不具備的特點，所以在諸如電腦顯示、電視、視頻、機器人、測量、斟察、醫療、廣告傳媒、電子游戲等領域具有廣闊的應用前景。

人眼看世界之所以有立體感，是因為左眼和右眼看世界的視角有少許不同而存在視差(disparity)。視差是指左視圖和右視圖對應于同一個世界點的兩個象素點的水平位移。計算機視覺領域的定理指出，某點的視差和它所對應的世界點的深度(depth，即距離感)成反比；也就是說，離觀看點越遠的點的視差值越小，無窮遠點的視差為0。深度圖(depth?map)是由圖像每個像素點對應的深度值所組成的灰度圖，即一張圖像所有點的深度值組成了深度圖。其中距離越遠的部分，深度值越小，深度圖中表現為偏向黑色；距離越近的部分，深度值越大，深度圖中表現為偏向白色。

現有的基于雙目立體視覺的深度圖生成技術主要有以下兩種：

首先是高質量深度圖的構建，在這方面基于MRF(Markov?Random?Field，馬爾科夫隨機場)的方法得到了廣泛的關注。在實際算法中，由于無法求得其精確解，因而提出了基于BP(BeliefPropagation，置信度傳播)和圖分割(Graph?Cuts)的近似求解算法。BP算法是一個通過在相鄰節點之間傳遞、更新消息，迭代優化的算法，由于需要迭代多次求解，速度很慢，因此應用BP技術的加速算法近年來也得到了越來越多的重視。圖分割方法相對于BP算法較快，并且基于該方法能獲得高質量的整體性能，因而獲得了廣泛的應用。

其次是深度圖的快速構建，在這方面基于局部相關性(Local?method)的方法和基于DP(Dynamic?Programming，動態規劃)的方法被認為是當前最有可能的兩種方案。基于局部相關性的方法存在噪聲嚴重，對圖像的弱紋理區域效果不好以及魯棒性差等諸多問題，難以獲得高質量的立體重建效果；基于動態規劃的方法在物體邊緣處容易出現條狀效應。并且兩者對于實時應用而言，其計算量仍顯太大。

由此可見，現有的深度圖生成技術目前還存在著如下問題：第一，能夠生成高質量深度圖的算法速度很慢；第二，能夠快速生成深度圖的算法得到的深度圖質量比較差。所以，高質量和快速成為了深度圖生成的關鍵技術和難點。

發明內容

為了解決現有技術的問題，本發明提供了一種生成深度圖的方法和裝置。所述技術方案如下：

一種生成深度圖的方法，所述方法包括：

將輸入圖像對中的左視圖作為參考圖像，將所述輸入圖像對中的右視圖作為目標圖像，對所述參考圖像和目標圖像分別做灰度變換；

計算灰度變換后的參考圖像的上梯度矩陣、下梯度矩陣、左梯度矩陣和右梯度矩陣；

根據灰度變換后的參考圖像、灰度變換后的目標圖像以及所述參考圖像和目標圖像之間的視差，計算代價函數矩陣并進行邊界處理；

根據所述代價函數矩陣計算得到原始信息存儲矩陣，初始化上信息存儲矩陣、下信息存儲矩陣、左信息存儲矩陣和右信息存儲矩陣；

將所述上梯度矩陣、下梯度矩陣、左梯度矩陣和右梯度矩陣，以及所述原始信息存儲矩陣、上信息存儲矩陣、下信息存儲矩陣、左信息存儲矩陣和右信息存儲矩陣復制到圖形處理器GPU的顯存中，采用計算統一設備架構CUDA在所述GPU上采用置信傳播算法進行迭代計算，分別得到迭代后的上信息存儲矩陣、迭代后的下信息存儲矩陣、迭代后的左信息存儲矩陣和迭代后的右信息存儲矩陣；

根據所述迭代后的上信息存儲矩陣、迭代后的下信息存儲矩陣、迭代后的左信息存儲矩陣和迭代后的右信息存儲矩陣計算得到置信矩陣；

根據所述置信矩陣計算得到深度圖。

所述計算灰度變換后的參考圖像的上梯度矩陣、下梯度矩陣、左梯度矩陣和右梯度矩陣，具體包括：

將灰度變換后的參考圖像的每一點與其上方相鄰點的像素值相減并求絕對值，將得到的結果與預設的上梯度閾值進行比較，如果所述結果大于所述上梯度閾值，則將所述每一點的上梯度值置為1，如果所述結果小于所述上梯度閾值，則將所述每一點的上梯度值置為0；