[發(fā)明專利]一種基于圖像清晰度差異的深度估計(jì)方法

無效

• 申請?zhí)枺?/td>: 201210310062.3
• 申請日: 2012-08-28
• 公開（公告）號: CN102903098A
• 公開（公告）日: 2013-01-30
• 發(fā)明（設(shè)計(jì)）人: 劉然;巫英堅(jiān);田逢春;譚迎春;謝輝;邰國欽;譚偉敏;李博樂;肖迪;葛亮;周慶;陳恒鑫;黃揚(yáng)帆;甘平;葉蓮
• 申請（專利權(quán)）人: 四川虹微技術(shù)有限公司;重慶大學(xué)
• 主分類號: G06T7/00
• 分類號: G06T7/00
• 代理公司: 成都行之專利代理事務(wù)所(普通合伙) 51220
• 代理人: 溫利平

技術(shù)領(lǐng)域

本發(fā)明屬于3D圖像處理技術(shù)領(lǐng)域，更為具體地講，涉及一種基于圖像清晰度差異的深度估計(jì)方法。

背景技術(shù)

2010年1月，《阿凡達(dá)》等3D電影的全球熱播引發(fā)了3D技術(shù)的研究熱潮。2012年1月央視3D頻道開播，促進(jìn)了3D產(chǎn)業(yè)的進(jìn)一步發(fā)展。3DTV是繼高清電視（HDTV）之后電視技術(shù)領(lǐng)域一場新的技術(shù)革新。

3DTV作為下一代視頻廣播系統(tǒng)，還有許多問題需要解決，其中深度估計(jì)（depth?estimation）是其關(guān)鍵技術(shù)之一。

深度估計(jì)是指從景物的一幅或多幅圖像中自動、有效地提取深度信息。根據(jù)是否需要人工控制，深度估計(jì)可以分為主動（active）深度估計(jì)和被動（passive）深度估計(jì)兩種方式。主動深度估計(jì)需要人為的對測量環(huán)境進(jìn)行控制來獲取深度，而被動深度估計(jì)則不需要控制成像系統(tǒng)與環(huán)境，常用的被動深度估計(jì)有雙目（多目）視覺、運(yùn)動三維檢測、單目視覺等方法。

雙目視覺將兩個(gè)或多個(gè)攝像機(jī)拍攝的物體二維圖像進(jìn)行對比匹配，如果在對比中發(fā)現(xiàn)物體上某個(gè)特征點(diǎn)存在于圖像的相同位置則說明此點(diǎn)位置在兩攝像機(jī)鏡頭的軸線交點(diǎn)上，通過找到物體特征的不匹配量即可確定該特征點(diǎn)位置。

運(yùn)動三維檢測則是使用一個(gè)攝像機(jī)在不同的時(shí)間和空間對物體拍攝大量序列圖像，利用序列圖像的時(shí)空變化情況得到物體的信息。與雙目視覺類似，這種方法也需要找到序列圖像上物體的對應(yīng)特征點(diǎn)。

以上兩種方法均需要提取出圖像中的物體特征點(diǎn)，并計(jì)算其變化量，而提取物體特征比較復(fù)雜且存在蔽塞以及遮擋等難以解決的問題。蔽塞是指目標(biāo)中的某個(gè)特征點(diǎn)檢測到在兩幅圖像中位置是一樣的，說明該特征點(diǎn)正好位于兩攝像機(jī)的中心軸線的交點(diǎn)處，這種情況下立體視覺獲取存在局限性；遮擋是指特征點(diǎn)在一個(gè)攝像機(jī)拍攝的場景中可見，在另個(gè)攝像機(jī)拍攝的場景中不可見，這時(shí)無法找到對應(yīng)的特征點(diǎn)對，此時(shí)無法估計(jì)目標(biāo)的深度。所以這兩種方法很難做到實(shí)時(shí)性，滿足實(shí)際應(yīng)用和需求可能行小。

單目視覺有兩種測量方法：聚焦法及散焦法。

聚焦法（Depth?From?Focus，簡稱DFF）通過攝像機(jī)在不同的光學(xué)參數(shù)下獲取大量序列圖像，在對圖像進(jìn)行分析后找到清晰度最大的圖像，然后根據(jù)幾何光學(xué)中物體成像的模型求取物體的深度信息。此方法測量精確度高，但需要調(diào)整攝像機(jī)拍攝大量圖像，比較費(fèi)時(shí)，不適用于即時(shí)深度估計(jì)。

散焦法（Depth?Form?Defocus，簡稱DFD）則是利用兩幅或者多幅散焦程度不同的圖像，通過對比圖像的模糊程度來求取物體的深度信息，此方法回避了雙目視覺中特征點(diǎn)匹配的問題，也不需要對物體拍攝大量的序列圖像，使用比較方便。

上述算法均是對于被動視覺的兩幅或多幅圖像的深度估計(jì)，而對于單幅圖像，由于無法獲取景物目標(biāo)的視差信息，只能通過圖像自身的一些特征和先驗(yàn)知識來獲得有限的線索以完成深度估計(jì)，因此具有較高的技術(shù)難度。各個(gè)國家的許多科研人員對此作了大量和深入的研究。

Saxena在Make?3D項(xiàng)目及相關(guān)研究中采用了結(jié)合了高斯和拉普拉斯算子的MPF（馬爾科夫隨機(jī)場模型）來描述圖像中各點(diǎn)的深度及彼此間的深度關(guān)系。并通過監(jiān)督學(xué)習(xí)方法對場景進(jìn)行訓(xùn)練和估計(jì)，對非結(jié)構(gòu)化、相機(jī)參數(shù)未知的大范圍復(fù)雜場景深度估計(jì)有相對理想的效果。但是此算法計(jì)算復(fù)雜耗時(shí)，而且每更換一個(gè)新的場景，原有的模型將失效，需要重新采集相應(yīng)的深度數(shù)據(jù)進(jìn)行訓(xùn)練，不能滿足即時(shí)深度估計(jì)且硬件實(shí)現(xiàn)十分困難。

Hoiem在假設(shè)圖像場景內(nèi)的所有景物對象都是垂直直立于地面的基礎(chǔ)上，提出一套完整的單幅圖像深度估計(jì)方法．該方法以像素塊為單位提取顏色、紋理等特征，然后使用adboost分類方法將整個(gè)圖像分解為地面、天空、直立景物等，最后對圖像中的地面區(qū)域建立3維模型，并依據(jù)圖像中景物對象和地面的相交位置重構(gòu)出整個(gè)三維場景。

李樂等人通過分析理解街景圖像內(nèi)景物之間的構(gòu)圖關(guān)系，依據(jù)其中蘊(yùn)含的深度認(rèn)知線索估計(jì)街景圖像的深度信息，對Hoiem的上述算法進(jìn)行了改進(jìn)。

以上三種關(guān)于被動視覺單視點(diǎn)單幅圖像的深度估計(jì)均有較好的效果，但其計(jì)算復(fù)雜，Saxena的算法還需監(jiān)督學(xué)習(xí)，現(xiàn)階段很難做到實(shí)時(shí)性。

發(fā)明內(nèi)容

本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供一種基于圖像清晰度差異的深度估計(jì)方法，以降低單視點(diǎn)單幅圖像深度估計(jì)的計(jì)算復(fù)雜性，滿足圖像處理的實(shí)時(shí)性要求。

為實(shí)現(xiàn)上述目的，本發(fā)明基于圖像清晰度差異的深度估計(jì)方法，其特征在于，包括以下步驟：

（1）、將彩色的單視點(diǎn)單幅圖像轉(zhuǎn)換為灰度圖像；