[發明專利]基于學習預測的室內布局估計方法及系統

有效

• 申請號: 201710154250.4
• 申請日: 2017-03-15
• 公開（公告）號: CN107122792B
• 公開（公告）日: 2019-11-26
• 發明（設計）人: 張偉;張偉東;賀玄煜;陳啟
• 申請（專利權）人: 山東大學;山東大學深圳研究院
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06T17/00;G06F17/50
• 代理公司: 37221 濟南圣達知識產權代理有限公司
• 代理人: 張勇<國際申請>=<國際公布>=<進入國

本發明公開了一種基于學習預測的室內布局估計方法及系統，該方法包括：構建訓練集，并利用訓練集內的訓練樣本進行訓練反卷積網絡；所述訓練樣本為房間布局圖及其對應的邊緣圖，房間布局圖及其對應的邊緣圖分別作為反卷積網絡的輸入和輸出；將待測房間布局圖輸至訓練完成的反卷積網絡，輸出預測的邊緣圖；計算待測房間布局圖中預設方向的消失點，生成若干個扇區；再基于預測的邊緣圖，從生成的若干個扇區中選擇局部最大邊緣強度的扇區為采樣扇區；對采樣扇區采樣，得到一系列候選的房間布局估計圖；再根據房間布局估計圖與得到的邊緣圖的相似性，從候選的房間布局估計圖中篩選出與預測的邊緣圖最接近的房間布局估計圖作為最終的房間布局圖。

技術領域

本發明屬于圖像處理領域，尤其涉及一種基于學習預測的室內布局估計方法及系統。

背景技術

房間布局估計是用一個最合適的3維立體結構來模擬房間空間。換句話說，這個問題等同于從一個房間中找到所有的墻-地板，墻-墻，墻-天花板的邊界。不幸的是，這些邊界與各種不是房間的邊緣混合在一起，并且不總是可見的。準確的房間布局估計需要計算機來從總體視角來理解房間，而不僅僅依賴于局部線索。

基于區域信息的圖像特征被廣泛用于以前的工作中。Hedau等人提出了一個經典的框架用于房間布局估計：在候選產生階段，估算三個相互正交的消失點。然后通過從垂直和無限遠水平的消失點中均勻采樣，會產生一系列的候選布局。在排序階段，每個候選布局會被賦予一個學習到的結構化回歸量的得分，得分最高的布局被選為最終結果。Schwing等人對每個消失點密集采樣50條射線，并將積分幾何分解用于高效的結構化預測。李等人通過方向圖用最合適的布局來評估的布局假設，其中方向圖是由線段切割計算出來的。王等人比較重視室內的混雜程度，并共同用隱變量模擬了房間的五個面和混雜布局。上述這些方法均是借助傳統手工提取的特征，有很多需要手動調節的參數，且最后的估計結果誤差較大。

發明內容

為了解決現有技術的缺點，本發明的第一目的是提供一種基于學習預測的室內布局估計方法。

本發明的一種基于學習預測的室內布局估計方法，包括：

步驟1：構建訓練集，并利用訓練集內的訓練樣本進行訓練反卷積網絡；所述訓練樣本為房間布局圖及其對應的邊緣圖，房間布局圖及其對應的邊緣圖分別作為反卷積網絡的輸入和輸出；

步驟2：將待測房間布局圖輸至訓練完成的反卷積網絡，輸出預測的邊緣圖；

步驟3：計算待測房間布局圖中預設方向的消失點，生成若干個扇區；再基于預測的邊緣圖，從生成的若干個扇區中選擇局部最大邊緣強度的扇區為采樣扇區；

步驟4：對采樣扇區采樣，得到一系列候選的房間布局估計圖；再根據房間布局估計圖與步驟2得到的邊緣圖的相似性，從候選的房間布局估計圖中篩選出與預測的邊緣圖最接近的房間布局估計圖作為最終的房間布局圖。

本發明的該方法首先利用反卷積網絡對輸入圖像的每一個局部區域進行分類，從而得到一個低分辨率的標簽圖，然后對一個有很大內核和步幅的反卷積層進行雙線性插值，以便對原始輸入尺寸進行上采樣標簽圖，本發明通過反卷積網絡預測五個房間面的分割掩膜，而不是房間邊緣，然后基于預測的掩膜被大量優化，從而改善最終的結果。

所述步驟3中的消失點包括待測房間布局圖中垂直方向的消失點、水平方向的近消失點和水平方向的遠消失點。

其中，對室內圖像，有三個在空間互相正交的消失點，豎直方向有一個，水平方向有兩個，其中距離圖像中心更遠的為遠消失點，另一個為近消失點。

所述步驟3中，計算待測房間布局圖中預設方向的消失點，生成若干個扇區的具體過程為從消失點發出射線，均勻分割待測房間布局圖，得到一定數目的扇區。

步驟3中從生成的若干個扇區中選擇局部最大邊緣強度的扇區為采樣扇區的過程為：選擇的扇區數目不固定，被選中的扇區需要滿足兩個條件：