[發明專利]多視角投影與三維注冊聯合的手繪場景三維建模方法

有效

• 申請號: 201410026189.1
• 申請日: 2014-01-21
• 公開（公告）號: CN103729885A
• 公開（公告）日: 2014-04-16
• 發明（設計）人: 馬華東;劉亮;盧大瑋;劉安爾
• 申請（專利權）人: 北京郵電大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06F17/30
• 代理公司: 北京德琦知識產權代理有限公司 11018
• 代理人: 夏憲富

技術領域

本發明涉及一種多視角投影與三維注冊聯合的手繪場景三維建模方法，屬于三維模型檢索和增強現實的技術領域。

背景技術

隨著三維技術的發展，三維模型和三維場景這種更加接近真實世界的三維空間描述方式，在交通、醫學及娛樂等多個領域得到了越來越廣泛的應用。三維場景的展現，首先要解決的技術問題是：“如何構建三維模型”。但是，構建三維模型所需的代價往往十分巨大。而且，隨著三維建模方法的發展，三維模型相關應用的增加以及互聯網的快速發展，可用三維模型的數量也在飛速增長；這就使得通過現有的三維模型來展現三維場景，已經成為近年來的主要發展趨勢。這樣，上述問題就逐漸演變為“如何快速而準確地找到可用的三維模型”，于是，對三維模型的檢索就變得尤為重要。

目前基于文本（標簽，關鍵字）的檢索方法發展比較成熟，但是，其輸入帶有較強的主觀性，會明顯地影響檢索結果。而且，基于內容的檢索方法是以三維模型作為輸入，并通過模型之間的內在特征的相似性進行檢索。因此其檢索結果更加可靠，也是目前該技術領域的主要研究方向。許多國內外知名學者和科研機構都開展了相關的研究工作，并逐步取得了很多突破性地進展。

例如：在《谷歌形狀：基于幾何詞語及表達的不變形狀檢索》（“Shape?Google:Geometric?Words?and?Expressions?for?Invariant?Shape?Retrieval”發表于《ACM?Transactions?on?Graphics2011》）文章中，作者將圖像檢索中的視覺詞語和詞袋模型引入到基于實例的三維模型檢索中，有效地提高了檢索效率。

在《基于超圖分析的三維模型檢索與識別》（“3-D?Object?Retrieval?and?Recognition?with?Hypergraph?Analysis”發表于《IEEE?Transactions?on?Image?Processing2012》）文章中，作者使用超圖分析的方法進行了基于二維視圖的三維模型檢索的研究。

但是，這些方法也存在著難以獲取檢索所需的輸入模型或輸入視圖等多項缺陷。這些現有技術的缺陷成為業內科技人員關注的焦點。

得到所需的三維模型以后，就可以利用這些三維模型進行三維場景的展現。目前比較常用也比較成熟的方法是在完全虛擬的環境中將三維模型進行拼接和融合，然后對該環境進行渲染，以模擬的方式來展現真實世界。然而，隨著應用的不斷發展，現有技術的展現方法不可避免地暴露出一些不容忽視的問題。例如：由于過度強調用戶的沉浸感，從而造成系統對現實的隔離。這就產生了三維場景展現方法的新需求，即如何把虛擬物體融合到現實中，并實現用戶與虛擬場景以及現實之間的交互。這些問題都成為業內技術人員所關注的新課題。

發明內容

有鑒于此，本發明的目的是提供一種多視角投影與三維注冊聯合的手繪場景三維建模方法，該方法從系統易用性和更好的用戶體驗的角度出發，由用戶手繪所需要展現的三維場景的二維手繪圖。然后以手繪圖內容為輸入，基于三維模型的多視角投影來檢索三維場景展現所需的三維模型，實現更好的三維模型復用。最后通過三維注冊算法將檢索得到的三維模型與用戶手繪的場景融合在一起，完成用戶手繪場景的三維建模，最終得到虛擬與現實相結合的三維場景的展示，實現用戶與虛擬以及現實之間的交互。

為了達到上述目的，本發明提供了一種多視角投影與三維注冊聯合的手繪場景三維建模方法，其特征在于，該方法包括下述兩個操作步驟的實現階段：

步驟1，預處理階段：對三維模型庫內的所有三維模型進行標準化預處理，以使系統預置的正多面體能將每個三維模型都包圍在內；再在正多面體的各個頂點處設置虛擬攝像機，用于拍攝每個三維模型的各個不同角度的投影圖，表示該三維模型的視覺形狀信息；然后提取每個模型所有投影圖的視覺特征，并依此建立三維模型特征庫；

步驟2，執行處理階段：用戶手繪要展現的三維場景的每個三維模型的二維手繪圖和為每個手繪圖附設文字標簽，還利用攝像機獲取每個手繪圖及其文字標簽的數字圖像；再針對這些數字圖像中的手繪圖及其對應的文字標簽的區域進行處理：采用提取三維模型投影圖視覺特征的相同方法提取手繪圖的視覺特征，并將處理后的文字標簽區域作為檢索關鍵字，將手繪圖的視覺特征與三維模型特征庫中的三維模型特征進行相似度計算，檢索得到三維場景所需要的三維模型；最后采用三維注冊算法將相似度最大的三維模型投影到相應位置實現手繪場景的三維建模，并最終完成三維場景的展現。