[發明專利]基于條件生成對抗網絡的室內場景布局估計方法和裝置

有效

• 申請號: 201811049134.7
• 申請日: 2018-09-10
• 公開（公告）號: CN109360232B
• 公開（公告）日: 2021-04-06
• 發明（設計）人: 劉天亮;曹旦旦;戴修斌
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06T7/50
• 分類號: G06T7/50;G06T7/13;G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 孟紅梅

本發明公開了一種基于條件生成對抗網絡的室內場景布局估計方法和裝置，該方法包括：運用訓練集訓練條件生成對抗網絡，將待測室內圖像輸入至訓練完成的條件生成對抗網絡，預測生成與輸入圖像尺寸相同的布局邊緣圖；估計待測室內圖像的消失點，從每個消失點等角度間隔引出射線，生成若干扇形區域；根據平均邊緣強度最大準則確定采樣扇形區域；對預測布局邊緣圖加高斯模糊，然后對采樣扇形區域進行采樣生成布局候選項；選出與預測布局邊緣圖最為相似的空間布局作為最終的布局估計結果。本發明為生成場景布局邊界圖提供更加完整的原始信息，無需顯式假設數據的參數分布，能提高布局估計的準確率，在室內場景理解和三維重建任務中具有重要的應用價值。

技術領域

本發明涉及一種基于條件生成對抗網絡(cGAN)的室內場景布局估計方法和裝置，屬于圖像場景理解技術領域。

背景技術

圖像場景理解一直都是計算機視覺領域的研究熱點，室內場景布局估計作為其初始也是關鍵單元，基本目標是根據給定的室內場景圖像恢復出場景內房間的布局結構。用一個3維立體盒子模擬室內空間布局，從中找到墻-地板、墻-墻、墻-天花板的邊界，然而，因為場景內部存在大量的雜物，例如家具、個人等，都會對房間的布局邊界造成遮擋，使得布局的恢復變得極具挑戰性。準確的房間布局估計需要計算機來從總體視角來理解房間，而不僅僅依賴于局部線索。且完整的原始圖像信息和學習能力強大且簡單的網絡框架能夠使計算機更好地理解室內場景的空間結構布局。

近年來，許多的場景布局估計研究工作中致力于提出有效的方法進行布局估計。文獻[Hedau V,Hoiem D,Forsyth D.Recovering the spatial layout of clutteredrooms.International Conference on Computer Vision.2009:1849-1856.]提出將房間布局邊界參數化為3D盒模型結構，基于估計的消失點生成布局候選項，提取線段、幾何上下文等特征進行學習。文獻[Lee D C,Hebert M,Kanade T.Geometric reasoning forsingle image structure recovery.Computer Vision and Pattern Recognition.2009:2136-2143.]在此基礎之上又引入方向圖特征，通過方向圖用最合適的布局來評估的布局假設，其中方向圖是由線段切割計算出來的。文獻[Schwing A G,Hazan T,Pollefeys M,etal.Efficient structured prediction for 3D indoor scene understanding.IEEEConference on Computer Vision and Pattern Recognition.2012:2815-2822.]提出一種新的參數化方法，將房間布局邊界參數化為由消失點引出的成對射線之間的夾角，問題轉化為四個離散隨機變量的基礎預測，對目標函數采用新方法求解。隨著卷積神經網絡狂潮的掀起，文獻[Mallya A,Lazebnik S.Learning Informative Edge Maps for IndoorScene Layout Prediction.International Conference on Computer Vision.2015:936-944.]對場景布局的邊界進行預測，提取新的邊界特征。在前面研究的基礎之上，本發明人在文獻專利申請CN201710274710中提出以VGG-16為原型的全卷積神經網絡預測信息化邊界圖，并將其與布局類別信息融合生成全局特征，已進行對布局候選項的粗選取，再將線段成員信息、幾何上下文信息、法向量和深度經幾何積分圖像形成區域級特征，以對布局候選項進行進一步選取。但該方法從特征提取和模型求解這兩方面進行優化，所涉及的特征都是從既定場景布局候選項的劃分區域內逐個提取拼接而成，多個特征的提取導致網絡模型復雜度高，模型參數求解困難。

發明內容

發明目的：為了解決現有的技術問題，本發明提供一種基于條件生成對抗網絡的室內場景布局估計方法和裝置，以準確估計室內場景的空間布局，得到房間三維結構。

技術方案：為實現上述目的，本發明采用以下技術方案：