[發明專利]一種由粗至精的室內場景圖像布局估計方法

有效

• 申請號: 201710274710.7
• 申請日: 2017-04-25
• 公開（公告）號: CN107424161B
• 公開（公告）日: 2021-03-02
• 發明（設計）人: 劉天亮;顧雁秋;戴修斌
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06T7/13
• 分類號: G06T7/13
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 劉莎

本發明公開了一種由粗至精的室內場景圖像布局估計方法，首先基于Canny邊緣檢測結果，設置閾值獲得相應長直線段，對長直線段進行方向上的歸類并估計消失點，進而生成大量布局候選項；然后，構建以VGG?16為原型的全卷積神經網絡預測信息化邊界圖，并將fc7層提取特征經Softmax分類器獲得布局類別信息，兩者融合生成全局特征進行布局候選項的粗選取；最后，建立布局估計的結構化回歸模型，在提取線段、幾何上下文、法向量和深度等信息的基礎上，經幾何積分圖像形成區域級特征，實現布局候選項到特征域的映射的同時進行特征參數的學習，從而獲得布局估計參數模型。該方法提高了布局估計的準確率，在室內場景的3D重建中具有重要的應用價值。

技術領域

本發明涉及一種由粗至精的室內場景圖像布局估計方法，屬于圖像場景理解技術領域。

背景技術

圖像場景理解一直都是計算機視覺領域的研究熱點，室內場景布局估計作為其初始也是關鍵單元，基本目標是根據給定的室內場景圖像恢復出場景內房間的布局結構。對于人眼這種高度精確且即時的視覺系統來說，識別房間的布局并不困難，僅需一瞥，即可獲知視場范圍內場景的上下文信息，但利用現有計算機技術模擬人類視覺系統，使計算機具有“觀察”世界的能力并非易事，需要經歷較復雜的機器學習過程。主要是因為場景內部存在大量的雜物，例如家具、個人等，都會對房間的布局邊界造成遮擋，使得布局的恢復變得極具挑戰性。

近年來，許多的場景布局估計研究工作中致力于提出有效的方法進行布局估計。文獻[Hedau V,Hoiem D,Forsyth D.Recovering the spatial layout of clutteredrooms.International Conference on Computer Vision.2009:1849-1856.]提出將房間布局邊界參數化為3D盒模型結構，基于估計的消失點生成布局候選項，提取線段、幾何上下文等特征進行學習。文獻[Lee D C,Hebert M,Kanade T.Geometric reasoning forsingle image structure recovery.Computer Vision and Pattern Recognition.2009:2136-2143.]在此基礎之上又引入方向圖特征。文獻[Zhang J,Kan C,Schwing AG,etal.Estimating the 3D Layout of Indoor Scenes and Its Clutter from DepthSensors.IEEE International Conference on Computer Vision.2013:1273-1280.]除給定RGB圖像之外加入了深度信息，對僅基于外觀信息特征提取的進行補充。文獻[Schwing AG,Hazan T,Pollefeys M,et al.Efficient structured prediction for 3D indoorscene understanding.IEEE Conference on Computer Vision and PatternRecognition.2012:2815-2822.]提出一種新的參數化方法,將房間布局邊界參數化為由消失點引出的成對射線之間的夾角，問題轉化為四個離散隨機變量的基礎預測，對目標函數采用新方法求解。隨著卷積神經網絡狂潮的掀起，文獻[Mallya A,Lazebnik S.LearningInformative Edge Maps for Indoor Scene Layout Prediction.InternationalConference on Computer Vision.2015:936-944.]對場景布局的邊界進行預測，提取新的邊界特征。上述方法主要從特征提取和模型求解這兩方面進行優化，并沒有對模型本身進行修改。

上述方法所涉及的特征都是從既定場景布局候選項的劃分區域內逐個提取拼接而成，則所提取的特征都是區域級特征，并沒有將基于整幅圖像所提取的全局特征融入進去考慮。

發明內容