[發明專利]優化深度信息的方法與裝置

有效

• 申請號: 201410182522.8
• 申請日: 2014-04-30
• 公開（公告）號: CN105025285B
• 公開（公告）日: 2017-09-29
• 發明（設計）人: 鍾育佳;張文彥;曾家俊;李運錦
• 申請（專利權）人: 聚晶半導體股份有限公司
• 主分類號: H04N13/00
• 分類號: H04N13/00
• 代理公司: 北京同立鈞成知識產權代理有限公司11205
• 代理人: 臧建明

技術領域

本發明是有關于一種處理圖像的方法及裝置，且特別是有關于一種優化深度信息的方法與裝置。

背景技術

隨著圖像處理技術的蓬勃發展，立體視覺技術(Stereo Vision)以逐漸且廣泛地應用于各種領域。立體視覺廣義來說可包括兩個階段，前期階段包括利用深度攝像機、立體攝像機或是利用相關的三維立體圖像演算法等方式來產生深度信息，而后其階段為利用深度信息來產生不同視角的圖像。由此可知，為了產生視覺體驗較佳的立體圖像，準確的深度信息是非常重要的。

對于具有雙鏡頭的立體成像系統來說，立體成像系統的雙鏡頭可拍攝同一區域不同角度的圖像，而結合左、右鏡頭所拍攝圖像間的像差信息以及預知的鏡頭間距，則可估測出圖像中各個物件的深度信息。一般來說，深度信息往往可用一深度圖(depth map)來表示，并利用記錄在深度圖上的深度值來表示二維圖像中不同物件或像素點的深度。其中，基于區域關聯性(local-correlation)以及像素匹配(pixel-wise matching)的深度產生演算法已普遍見于具有雙鏡頭的立體成像系統中。

然而，基于區域關聯所產生的深度圖可能發生邊緣模糊的情形，而像素匹配的方式也會導致龐大的計算量并且相當耗費存儲器。也就是說，不同的深度信息產生演算法會具備不同的精確度與計算量。因此，如何在可允許的計算量與復雜度下產生精確的深度信息，并提高根據此深度信息所產生的三維圖像的品質，是本領域技術人員所努力的方向之一。

發明內容

本發明提供一種優化深度信息的方法與裝置，可降低深度信息的噪聲并提高深度信息的精準度，從而使立體成像系統所產生的立體圖像具備較佳的視覺體驗。

本發明提出一種優化深度信息的方法，適用于一電子裝置。左圖像與右圖像通過立體成像系統的拍攝而產生，所述方法包括下列步驟。將左圖像與右圖像其中之一劃分成多個相關區塊，以獲取至少一區塊分布圖。獲取待修復深度圖，并依據多個主深度值與相機參數將待修復深度圖區分成多個深度平面，其中待修復深度圖記錄這些主深度值且具有多個破洞。利用區塊分布圖而分別對各深度平面中的破洞產生多個優化深度值，并將這些優化深度值填補至各深度平面而獲取結合各深度平面的優化深度圖。

在本發明的一實施例中，上述的獲取待修復深度圖，并依據主深度值與相機參數將待修復深度圖區分成多個深度平面的步驟包括下列步驟。依據主深度值與相機參數決定各主深度值的物距信息。各主深度值的物距信息，將待修復深度圖劃分成對應至相互相異的多個景深范圍的深度平面，且深度平面包括至少一相似物距區域。

在本發明的一實施例中，上述的將左圖像與右圖像其中之一劃分成相關區塊，以獲取區塊分布圖的步驟包括下列步驟。決定各深度平面的切割精細度，并依據切割精細度將關聯于待修復深度圖的左圖像與右圖像其中之一劃分成多個相關區塊，以獲取分別對應至各個深度平面的區塊分布圖。

在本發明的一實施例中，上述的深度平面分別對應至相互相異的多個景深范圍，而這些深度平面的切割精細度基于各深度平面所對應的景深范圍而定。

在本發明的一實施例中，上述的被劃分成多個相關區塊的左圖像或右圖像具有多個第一像素，而依據切割精細度將關聯于待修復深度圖的左圖像與右圖像其中之一劃分成這些相關區塊的步驟包括下列步驟。比對第一像素中相互相鄰的一第一相鄰像素與一第二相鄰像素而獲取像素值差。依據此像素值差是否小于差異門檻值而決定是否連結第一相鄰像素與第二相鄰像素，從而將各第一像素區分至對應的相關區塊，其中區塊分布圖的切割精細度依據差異門檻值而定。

在本發明的一實施例中，上述的依據切割精細度將關聯于待修復深度圖的左圖像與右圖像其中之一劃分成這些相關區塊的步驟還包括下列步驟。依據尺寸門檻值來限定各相關區塊的區塊尺寸而獲取區塊分布圖。各相關區塊的區塊尺寸不大于此尺寸門檻值，而區塊分布圖的切割精細度依據此尺寸門檻值而定。

在本發明的一實施例中，上述的利用區塊分布圖而分別對各深度平面中的破洞產生多個優化深度值，并將這些優化深度值填補至各深度平面而獲取結合各深度平面的優化深度圖的步驟包括下列步驟。將各深度平面的至少一相似物距區域依據各自對應的區塊分布圖而分割成多個第一深度區塊，并依據各第一深度區塊中的破洞的數目而獲取第一有效密度值。依據此第一有效密度值而決定是否計算各第一深度區塊的第一深度統計值，并將第一深度統計值作為優化深度值之一而填補部分的破洞。