[發明專利]一種基于深度圖的室內場景精細化解析方法

有效

• 申請號: 201710874793.3
• 申請日: 2017-09-25
• 公開（公告）號: CN107622244B
• 公開（公告）日: 2020-08-28
• 發明（設計）人: 曹治國;杭凌霄;肖陽;趙峰;張博深;王立;李濤
• 申請（專利權）人: 華中科技大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/34;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 華中科技大學專利中心 42201
• 代理人: 廖盈春;李智

1.一種基于深度圖的室內場景精細化解析方法，其特征在于，包括：

(1)提取待解析的室內場景深度圖的三通道特征圖，并將提取的三通道特征圖作為已訓練的全卷積網絡的輸入，對所述待解析的室內場景深度圖中的目標進行分割；

(2)根據提取的三通道特征圖，利用全連接條件隨機場，對分割結果的邊界進行完善優化，得到所述待解析的室內場景深度圖中所有像素的類別標簽向量；

所述三通道特征圖中，每個通道圖像的像素與所述待解析的室內場景深度圖中的像素一一對應，三個通道分別表示視差值、距地面高度和法向量與重力方向夾角大小；

提取待解析的室內場景深度圖的三通道特征圖，包括：

(1.1.1)由得到視差d和像素點對應深度值Z之間的關系；

(1.1.2)由得到每個像素點的法向量，其中，norm[·]表示向量的歸一化，符號×代表向量外積，表示待解析的室內場景深度圖二維平面的像素位置，表示待解析的室內場景深度圖的三維立體空間中的坐標，且二維坐標與三維坐標之間的轉換關系式為：為深度相機的內參矩陣；

(1.1.3)由與構造平行集合N_II和垂直集合N_⊥，其中，代表像素點的法向量，表示重力方向，為法向量和重力方向的夾角，ρ表示角度誤差裕量；

(1.1.4)將求解的矩陣N_⊥N_⊥^T-N_IIN_II^T的特征值作為更新后的重力向量，并采用更新后的重力向量繼續執行步驟(1.1.3)直至特征值穩定不變，得到目標重力向量，并計算點云中每個像素的法向量和目標重力方向的夾角，其中，點云表示所有像素點對應的三維立體空間中的坐標(x，y，z)組成三維點云；

(1.1.5)以目標重力向量為基準軸，求取每個點沿目標重力向量的投影值，找到最低點，其他點沿目標重力向量的投影值和最低點的差值作為距地面高度；

(3)將所述待解析的室內場景深度圖轉換成點云，基于所述類別標簽向量解析所述目標的三維結構，得到所述目標的空間姿態。

2.根據權利要求1所述的方法，其特征在于，步驟(1)具體包括：

(1.1)將待解析的室內場景深度圖I編碼成三通道圖I^E；

(1.2)將三通道圖I^E作為已訓練的全卷積網絡的輸入，逐層提取多級CNN特征，其中，前一層得到的卷積特征圖經過下采樣后，送入后一層提取新的卷積特征圖；

(1.3)將位于不同層的卷積特征圖分別通過反卷積層，上采樣至相同尺寸，然后將不同層的特征圖互相融合，送入softmax層；

(1.4)通過softmax層對每個像素點的類別進行預測，輸出每個像素點屬于各個類別的概率，最大概率值對應的類別為該像素點的初始類別標簽。

3.根據權利要求2所述的方法，其特征在于，步驟(1.4)具體包括：

通過softmax層對每個像素點的類別進行預測，輸出每個像素點i屬于各個類別的概率其中l＝{1，2，...，C}表示類別標簽，并將最大概率值所對應的類別作為該像素點的初始類別標簽，為不考慮softmax層的全卷積網絡最后一層的輸出。