[發明專利]稀疏深度圖稠密化方法和裝置

有效

• 申請號: 201310320158.2
• 申請日: 2013-07-26
• 公開（公告）號: CN104346608B
• 公開（公告）日: 2017-09-08
• 發明（設計）人: 喬剛;王鑫;范圣印;王千
• 申請（專利權）人: 株式會社理光
• 主分類號: G06K9/20
• 分類號: G06K9/20;G06T7/194;G06T7/33
• 代理公司: 北京市柳沈律師事務所11105
• 代理人: 張麗新

技術領域

本發明總體地涉及視差圖像處理，更具體地涉及稀疏視差圖像處理方法和裝置。

背景技術

已經開發了許多基于深度圖像(或視差圖像)檢測物體的方法，例如基于深度圖像檢測人、車輛、柵欄等。例如，在計算機視覺領域，人的檢測和跟蹤已經成為了活躍的研究對象，因為它可以為計算機自動地感知人提供關鍵的信息，并且為一些高層應用(如人的活動識別和場景理解)提供底層服務。

但是，有時，由于相機的性能限制或者場景本身的特性等因素，可能會得到視差點比較稀疏的深度圖，后文稱之為稀疏深度圖。稀疏是一個相對主觀的詞匯，含義是指只存在少量的有效深度像素，而且主要是不連續地出現在對象的邊緣。出現這種現象的原因可能是一些立體匹配算法只匹配強紋理點或只采納髙置信度的點。由于稀疏深度圖效應，可能使得難于檢測到物體如人、車輛等。

在題為“從數字圖像數據中形成深度圖像”的美國專利US6891966B2中，提出了一種方法和裝置，其中對全圖實現稠密化，并且使用了顏色輔助的八鄰域最小均方誤差(LMS)的插值過程。具體來說，首先在對全體深度圖集合利用一致性測試后獲得一幅關于場景的稀疏的基于特征點的深度圖。然后，通過對該稀疏特征點深度圖施加一個顏色輔助的深度傳播過程獲得一幅完全稠密的特征點深度圖。最后，通過對該完全稠密的特征點深度圖施加顏色輔助的八鄰域最小均方誤差(LMS)進行插值，獲得稠密前景深度。

發明內容

希望提供更適合于進行對象檢測的稀疏深度圖稠密化方法和裝置。

根據本發明的一個方面，提供了一種對稀疏深度圖進行稠密化處理的稀疏深度圖稠密化方法，可以包括：獲得要從中檢測預定對象的深度圖，該深度圖為稀疏型的深度圖；在深度圖中定位前景像素；將前景像素變換到三維世界坐標系中，形成三維點云；將該三維點云分組為子點云；對每個子點云，將該子點云與預先建立的該預定對象的三維稠密模型庫中的每個三維稠密模型進行匹配，其中三維稠密模型表示該模型是由稠密型而非稀疏型的點組成，以及根據匹配結果，選取三維稠密模型，并用該三維稠密模型來代替該子點云；以及將替代后的三維點云投影回深度圖。

根據本發明的另一方面，提供了一種對稀疏深度圖進行稠密化處理的稀疏深度圖稠密化裝置，包括：圖像獲得部件，獲得要從中檢測預定對象的深度圖，該深度圖為稀疏型的深度圖；前景像素定位部件，在深度圖中定位前景像素；三維點云變換部件，將前景像素變換到三維世界坐標系中，形成三維點云；子點云分組部件，將該三維點云分組為子點云；子點云稠密化部件，對每個子點云，將該子點云與預先建立的該預定對象的三維稠密模型庫中的每個三維稠密模型進行匹配，其中三維稠密模型表示該模型是由稠密型而非稀疏型的點組成，以及根據匹配結果，選取三維稠密模型，并用該三維稠密模型來代替該子點云；以及深度圖投影部件，將替代后的三維點云投影回深度圖。

根據本發明上述實施例提出的方法和裝置僅在前景掩膜上而不是在整圖上將稀疏深度圖轉換成稠密深度圖，具有對光照變化增強的魯棒性，能夠降低后續檢測對象的漏檢率，同時也提高了算法的計算效率和降低了背景噪聲的干擾。而且，上述方法，基于待檢測的對象的三維稠密模型于子點云的匹配來進行對稀疏子點云的替代，這樣的稠密化的深度圖更加適于后續的對象檢測，能夠降低漏檢率，提高對象的檢測準確率。

附圖說明

在附圖中圖示各種示例實施例，意圖這些例子不是限制性的。應理解，為了圖示的簡化和清楚，以下引用的圖中所示的元件不一定被畫成成比例的。而且，在認為適當時，可以在附圖之間重復使用附圖標記來指示相同的、對應的或類似的元件。在附圖中：

圖1示出根據本發明實施例的稀疏視差圖稠密化系統的應用場景示例的示意圖。

圖2示出了根據本發明實施例的稀疏深度圖稠密化系統1000的配置框圖。

圖3示出根據本發明實施例的對稀疏深度圖進行稠密化處理的稀疏深度圖稠密化方法2000的流程圖。

圖4中的(1)-(4)示意了上述利用灰度圖提取的前景掩膜來在深度圖上定位前景像素的過程的示意圖，這里假設感興趣的檢測對象是人，其中圖4中的(1)示出了灰度圖；圖4中的(2)示出了對灰度圖進行前景分割后提取的前景掩膜；圖4中的(3)示出了利用該在灰度圖上提取的前景掩膜在深度圖上定位的對應的深度像素；圖4中的(4)示出了從深度圖提取出的前景像素構成的深度圖像。