[發明專利]一種基于信息邊緣和多模態特征的室內場景布局估計方法

有效

• 申請號: 201710347401.8
• 申請日: 2017-05-17
• 公開（公告）號: CN107292234B
• 公開（公告）日: 2020-06-30
• 發明（設計）人: 劉天亮;陸泮宇;戴修斌;劉峰
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/44;G06K9/62;G06N3/08;G06T7/13
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 劉莎

1.一種基于信息邊緣和多模態特征的室內場景布局估計方法，其特征在于，包括以下具體步驟：

步驟A，針對室內場景圖像，根據檢測出的邊緣直線段進行消失點估計，從消失點出發以設定第一采樣頻率對場景圖像區域進行粗劃分；

步驟B，針對室內場景圖像，采用卷積神經網絡獲取場景圖像的信息邊緣圖，選取步驟1中粗劃分后場景圖像區域中能量高出設定閾值的區域，并對該區域進行以設定第二采樣頻率進行細劃分，產生布局候選項；

步驟C，針對室內場景圖像，提取其線組成員、幾何上下文、深度、法向量特征，并采用積分幾何累加計算方法對四個特征進行累加，得到場景圖像的區域級特征；

步驟D，根據布局候選項到特征的一元和二元映射關系，設計布局估計的結構化回歸模型，引入結構化學習算法對結構化回歸模型進行訓練學習，通過訓練學習完成的模型進行室內場景布局估計。

2.根據權利要求1所述的一種基于信息邊緣和多模態特征的室內場景布局估計方法，其特征在于，步驟A具體為：

A1，針對室內場景圖像，利用邊緣檢測算子對其進行邊緣檢測以獲取場景圖像中的邊緣輪廓，并設定長度閾值篩選出邊緣輪廓中的直線段；

A2，采用Rother’s算法的投票策略，根據A1中獲得的直線段進行消失點估計，得到空間直角坐標系中x、y、z方向上的三個正交消失點；

A3，分別從x、y方向上的消失點出發，以z方向上的消失點為參照，等角度間隔、以設定第一采樣頻率做出射線對場景圖像區域進行粗劃分。

3.根據權利要求2所述的一種基于信息邊緣和多模態特征的室內場景布局估計方法，其特征在于，步驟A1中邊緣檢測算子為Canny算子或Roberts算子或Sobel算子或Prewitt算子。

4.根據權利要求2所述的一種基于信息邊緣和多模態特征的室內場景布局估計方法，其特征在于，步驟A2中采用Rother’s算法的投票策略，根據A1中獲得的直線段進行消失點估計，具體為：

1)將A1中獲得的篩選后的直線段進行x、y、z方向上線段的劃分，分別用于估計x、y、z方向上的消失點；

2)x方向的線段集合記為{l_vi}，1≤i≤n，n為x上的線段數目，p_k為{l_vi}中線段兩兩相交的形成第k個交點，1≤k≤K，K為{l_vi}中線段兩兩相交的形成的交點數目，則第i個x方向線段l_vi對p_k的得分貢獻為：

其中，α表示l_vi與p_k和l_vi中點的連線之間的夾角，γ是設定閾值；

3)將所有x方向線段對p_k的得分貢獻進行求和，得到p_k的得分

4)所有K個交點中得分最高的即為x方向上的消失點vp₁；

5)基于如2)至4)中相同的投票得分機制，分別獲得y方向上的消失點vp₂與z方向上的消失點vp₃。

5.根據權利要求2所述的一種基于信息邊緣和多模態特征的室內場景布局估計方法，其特征在于，步驟B具體為：

B1，針對室內場景圖像，利用全卷積神經網絡、通過多個卷積層提取圖像像素級的特征圖，并將最后一層的特征圖用反卷積層進行上采樣，產生信息邊緣圖和幾何上下文標簽圖；

B2，分別統計步驟A中粗劃分后的每個場景圖像區域中的能量項高于設定能量閾值的數量；

B3，以z方向上的消失點作為參考點，在其上、下、左、右四個方向各選取一個能量項數量最高的區域；

B4，分別計算B3中選取的四個區域上兩條射線的夾角角度，并以設定第二采樣頻率作出細采樣射線對每個夾角進行等角度間隔劃分，各細采樣射線間的交點形成布局候選項的中墻角點，產生布局候選項。

6.根據權利要求5所述的一種基于信息邊緣和多模態特征的室內場景布局估計方法，其特征在于，步驟B1中采用Caffe深度學習基于VGG-16的全卷積神經網絡，產生信息邊緣圖和幾何上下文標簽圖。