[發明專利]一種基于信息邊緣和多模態特征的室內場景布局估計方法

有效

• 申請號: 201710347401.8
• 申請日: 2017-05-17
• 公開（公告）號: CN107292234B
• 公開（公告）日: 2020-06-30
• 發明（設計）人: 劉天亮;陸泮宇;戴修斌;劉峰
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/44;G06K9/62;G06N3/08;G06T7/13
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 劉莎

本發明公開了一種基于信息邊緣和多模態特征的室內場景布局估計方法，針對圖像用邊緣檢測提取直線段由此估計出圖像消失點，從消失點出發做采樣射線粗劃分圖像區域；用全卷積神經網絡（FCNs）獲取信息邊緣圖，選取圖中能量較高區域并細采樣產生布局候選項；基于積分幾何提取圖像的線段、幾何上下文、深度、法向量特征；考慮布局候選項與區域級特征一元和二元的映射關系，設計布局估計的結構化回歸模型，引入結構化學習算法，能量函數最小的即為室內場景布局估計。本發明逐步縮小候選項生成區域，并結合多種模態特征對布局候選項進行約束，提高了室內估計布局精度。

技術領域

本發明涉及一種基于信息邊緣和多模態特征的室內場景布局估計方法，特別涉及一種基于信息邊緣由粗到精布局候選項生成和多模態異構特征融合的室內場景布局估計方法。

背景技術

圖像場景理解是計算機視覺研究中的一項必要工作，籠統的來說，場景理解就是一個對傳感器捕捉的場景、通過一系列視覺信息和知識信息的處理分析、最終得到圖像語義解釋的過程。圖像場景理解其實是一種相對寬泛的概念，它包含了計算機視覺里的諸多研究范圍和應用領域，諸如圖像搜索引擎、自動導航、計算機攝影、圖像視覺、人機交互、虛擬現實以及其他應用上的需求。圖像場景理解有著廣泛的應用前景和巨大的經濟商業價值，能更好的提高人們的生活質量。在這些需求的推動下，基于視覺的圖像場景理解能夠有效地幫助和提高計算機對于復雜多變室內外場景的分析和認知能力，是計算機視覺領域研究的最終愿景。

現實世界中，室內場景作為人類的主要生活場所，與室外場景相比具有更重要的地位。室內場景布局估計是圖像場景理解的重要研究內容，是全局場景理解的分支。基本目標是通過給定的圖像把握其所示場景空間中的幾何結構。比如在智能家居中設計移動機器人，機器人通過攝像頭看到的畫面是室內二維圖像，如何通過這個場景圖像判斷室內各個物體的位置和尺寸？如何判斷機器人自由安全的行走路徑？如何分析機器人工作的內容范圍？這些都需要其能理解未知環境空間的結構化幾何信息。本文室內場景的布局估計是對這方面的研究，可以說室內場景布局估計是計算機視覺領域的基礎研究，為更高層級的研究和應用打下了堅實的基礎，已成為計算機視覺領域的研究熱點。