[發明專利]一種基于深度圖的室內場景精細化解析方法

有效

• 申請號: 201710874793.3
• 申請日: 2017-09-25
• 公開（公告）號: CN107622244B
• 公開（公告）日: 2020-08-28
• 發明（設計）人: 曹治國;杭凌霄;肖陽;趙峰;張博深;王立;李濤
• 申請（專利權）人: 華中科技大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/34;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 華中科技大學專利中心 42201
• 代理人: 廖盈春;李智

本發明公開了一種基于深度圖的室內場景精細化解析方法，應用于數字圖像處理和模式識別技術領域，所述方法包括：提取深度圖三通道特征，利用已訓練的全卷積網絡對待解析的室內場景深度圖中的目標進行分割；在深度特征圖上，利用全連接條件隨機場，對分割結果的邊界進行完善優化，得到所述待解析的室內場景深度圖中所有像素的類別標簽向量；將所述待解析的室內場景深度圖轉換成點云，基于所述類別標簽向量解析所述目標的三維結構，得到所述目標的空間姿態。本發明僅采用深度圖作為輸入，實現對室內場景的語義分割，并給出具體物體在三維坐標下的空間姿態，可以有效克服遮擋，分離前景背景，更有利于保護使用者的隱私。

技術領域

本發明屬于數字圖像處理和模式識別技術領域，更具體地，涉及一種基于深度圖的室內場景精細化解析方法。

背景技術

室內場景解析是一項融合了目標檢測和圖像分割技術的任務，要求計算機對圖像有多層次的理解，從底層的物體定位、識別與分割，到上層的場景識別、室內物體布局分析，包含了從2D到3D的全方位多角度的算法設計。

傳統的場景解析主要基于彩色圖像，所依靠的信息源有限，主要是顏色，紋理等。現有算法采用自底向上的框架，對圖像超像素進行分類，然后利用圖模型優化分割結果。但現有算法有兩方面不足：一是在室內遮擋嚴重、物體繁雜的情況下，魯棒性不好，難以區分目標和背景；二是平面彩色圖像有先天信息源不足的缺陷，不能給出目標三維空間的位置信息。

近年來，深度相機的普及為解決上述問題提供了一個新的維度，使得室內場景的解析和理解水平有了較大程度的提高。深度圖像提供了一個更接近于真實世界的視角，可以通過距離反映出前景與背景的區別，同時在視覺信息的基礎上增加了表面幾何信息，這些深度圖所獨有的特點為室內場景的3D解析提供了極大的便利。

而現有基于深度圖的室內場景解析技術，思路和傳統彩色圖像的方法非常類似，只是將深度信息作為了一種新的特征，并沒有充分利用深度圖獨有的特點。值得一提的是，不管是只基于彩色圖像的傳統方法，還是借助了深度圖像同時也必須依賴彩色圖像的方法，在實際應用中，不可避免的會在夜晚關燈情形下失效。此外，使用彩色相機，存在泄露用戶隱私的風險。

發明內容

針對現有技術的以上缺陷或改進需求，本發明提供了一種基于深度圖的室內場景精細化解析方法，由此解決現有的基于深度圖的室內場景解析技術中由于基于彩色圖像而存在的在沒有光照情形下無法識別室內場景的技術問題。

為實現上述目的，按照本發明的一個方面，提供了一種基于深度圖的室內場景精細化解析方法，包括：

(1)提取待解析的室內場景深度圖的三通道特征圖，并將提取的三通道特征圖作為已訓練的全卷積網絡的輸入，對所述待解析的室內場景深度圖中的目標進行分割；

(2)根據提取的三通道特征圖，利用全連接條件隨機場，對分割結果的邊界進行完善優化，得到所述待解析的室內場景深度圖中所有像素的類別標簽向量；

(3)將所述待解析的室內場景深度圖轉換成點云，基于所述類別標簽向量解析所述目標的三維結構，得到所述目標的空間姿態。

優選地，步驟(1)具體包括：

(1.1)將待解析的室內場景深度圖I編碼成三通道圖I^E，每個通道圖像的像素與所述待解析的室內場景深度圖I中的像素一一對應，三個通道分別表示視差值、距地面高度和法向量與重力方向夾角大小；

(1.2)將三通道圖I^E作為已訓練的全卷積網絡的輸入，逐層提取多級CNN特征，其中，前一層得到的卷積特征圖經過下采樣后，送入后一層提取新的卷積特征圖；

(1.3)將位于不同層的卷積特征圖分別通過反卷積層，上采樣至相同尺寸，然后將不同層的特征圖互相融合，送入softmax層；