[發(fā)明專利]一種實時高清深度估計系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201310173915.8
• 申請日: 2013-05-13
• 公開（公告）號: CN103281548A
• 公開（公告）日: 2013-09-04
• 發(fā)明（設計）人: 劉然;田逢春;邰國欽;譚迎春;譚偉敏;李博樂;黃揚帆;甘平;黃振偉;曹東華;謝輝
• 申請（專利權）人: 四川虹微技術有限公司;重慶大學
• 主分類號: H04N13/00
• 分類號: H04N13/00;G06T7/00
• 代理公司: 成都行之專利代理事務所(普通合伙) 51220
• 代理人: 溫利平

技術領域

本發(fā)明屬于視頻圖像處理技術領域，更為具體地講，涉及一種實時高清深度估計系統(tǒng)。

背景技術

隨著顯示技術的發(fā)展，3D電視已成為電視技術發(fā)展的主流趨勢，人們越來越強烈地渴望在家中就能體驗到3D技術帶來的震撼效果。然而，3D片源的短缺，制作成本的昂貴，嚴重阻礙了3D電視技術的發(fā)展。如果能將目前大量的2D視頻實時轉為3D視頻，則不僅可以為立體顯示提供豐富的素材，而且能大大節(jié)約制作成本。因此，2D轉3D技術成為當前3D電視技術發(fā)展的主流方向。

深度圖由于包含物體的三維信息即深度信息，而被廣泛應用于2D轉3D系統(tǒng)中，其精確與否直接影響到生成3D視圖質量的好壞。然而，直接拍攝深度圖不僅價格昂貴，而且設備復雜，周期長，不適合3D的家用發(fā)展前景。正因于此，深度估計技術油然而生。深度估計能從一幅或多幅彩色圖中估計出深度圖，有效的解決了該問題。然而，深度估計算法的復雜度大都比較高，對于高清乃至全高清視頻，深度估計算法的復雜度更會顯著增加，軟件已無法滿足實時處理的要求。例如，采用深度估計參考軟件(DERS)對640×480分辨率的圖片進行估計，估計一幅深度圖像需要30s的時間。因此，為滿足實時處理的要求，采用硬件實現(xiàn)深度估計具有重要的理論意義和研究價值。

目前，深度估計系統(tǒng)的硬件實現(xiàn)還研究的比較少。2011年Altera全國大學教師會議上，中山大學展示了“基于SOPC的2D轉3D多媒體處理系統(tǒng)”。該系統(tǒng)采用Nios?II來進行深度估計，可實時估計出深度圖像。然而，該系統(tǒng)最高支持分辨率為800×600，且深度估計部分采用C語言進行設計，不利于ASIC的代碼移植。臺灣大學提出了一種適用于1080P的2D轉3D系統(tǒng)。該系統(tǒng)可實時處理1080P視頻流。上海大學2012年提出了一種基于雙目視覺的實時深度估計系統(tǒng)，該系統(tǒng)能實時處理1080P視頻流，且吞吐量達到131fps。然而，該系統(tǒng)采用視差進行深度估計，處理時需要至少兩幅圖像，且必須知道攝像機標定參數(shù)。然而，在大多數(shù)情況下，攝像機標定參數(shù)是未知的，且需要由單幅圖像進行深度估計，因而該系統(tǒng)不能滿足上述要求。

基于相對高度的深度估計方法可基于攝像機標定參數(shù)是未知的，且由單幅圖像進行深度估計，其流程如圖1所示，可分為四步：

（1）、彩色圖轉灰度圖：將輸入的彩色圖轉為灰度圖；

（2）、邊緣檢測：采用Sobel算子求取物體的邊緣，得到對應的邊緣圖；

（3）、線軌跡追蹤：首先根據(jù)上遠下近模型給定一個間距平均分布的初始線軌跡圖(initial?line?map)和初始深度圖；其次根據(jù)每列的邊緣值及相應約束條件從左向右追蹤，逐列求取初始線軌跡點在下一列上的對應匹配點，得到線軌跡圖；

（4）、深度賦值：根據(jù)每列線軌跡點的坐標，逐列進行賦值，從而得到深度圖。

然而，在上述線軌跡追蹤步驟中，存在大量指數(shù)運算和除法運算的約束計算公式，計算復雜度高，不利于硬件的實現(xiàn)。同時，上述相對高度的深度估計方法采用軟件方法，不能滿足實時處理的要求。

發(fā)明內容

本發(fā)明的目的在于克服現(xiàn)有技術的不足，提供一種實時高清深度估計系統(tǒng)，以硬件方式實現(xiàn)相對高度的深度估計，以滿足實時處理的要求

為實現(xiàn)上述目的，本發(fā)明實時高清深度估計系統(tǒng)，其特征在于，包括：

一邊緣檢測模塊，用于接收輸入的分辨率為1280×720p彩色圖像數(shù)據(jù)，然后將彩色圖像數(shù)據(jù)即彩色值轉換為灰度值；內部的塊RAM對轉換得到連續(xù)三行灰度值進行緩存，每一個時鐘輸出三個灰度值進行sobel算子處理，計算每個灰度值對應的邊緣值即邊緣圖數(shù)據(jù)并按行輸出給邊緣圖數(shù)據(jù)緩存模塊，其中邊緣圖數(shù)據(jù)的位寬為8bit；

一邊緣圖數(shù)據(jù)緩存模塊，采用16片塊RAM對逐行輸入的邊緣圖數(shù)據(jù)進行緩存，每片塊RAM緩存一行數(shù)據(jù)；緩存完16行邊緣圖數(shù)據(jù)后，同步讀取16片塊RAM中的數(shù)據(jù)，并對同地址的數(shù)據(jù)組合為128bit的邊緣圖數(shù)據(jù)后輸出給多口內存控制模塊；組合輸出完畢后，對下16行逐行輸入的邊緣圖數(shù)據(jù)進行緩存、同步讀取以及組合輸出；

一DDR2存儲器，內部開辟4段地址E1、E2、D1、D2；其中地址段E1、E2用于交替存儲和讀取一幀邊緣圖數(shù)據(jù)即向地址段E1存儲邊緣圖數(shù)據(jù)時，從地址段E2讀取邊緣圖數(shù)據(jù)，一幀邊緣圖像數(shù)據(jù)存儲和讀取完畢后，交換地址段E2用于存儲，地址段E1用于讀取，地址段D1、D2用于交替存儲和讀取一幀深度圖數(shù)據(jù)即向地址段D1存儲深度圖數(shù)據(jù)時，從地址段D2讀取深度圖數(shù)據(jù)，一幀深度圖像數(shù)據(jù)存儲和讀取完畢后，交換地址段D2用于存儲，地址段D1用于讀取；