[發明專利]一種基于文本的三維室內場景重建方法

有效

• 申請號: 201910862590.1
• 申請日: 2019-09-12
• 公開（公告）號: CN110599592B
• 公開（公告）日: 2023-01-06
• 發明（設計）人: 李海生;于昊澤;鄭艷萍;曹健;蔡強
• 申請（專利權）人: 北京工商大學
• 主分類號: G06T17/00
• 分類號: G06T17/00
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 鄧治平

一種基于文本的三維室內場景重建方法，目的是讓用戶僅需輸入自然語言文本，便可重建出文本描述的三維室內場景，其方法包括：將用戶輸入的室內場景文本數據利用深度語義分析模型抽取出文本中包含的三維模型的詞語以及三維模型之間顯式空間關系的描述文本；將抽取出來的三維模型詞語對照空間知識圖譜進行隱式空間關系抽取；利用從室內場景文本中抽取的三維模型詞語通過與三維模型數據庫中的標簽進行相似度計算抽取與之最為接近的三維模型；基于深度語義分析模型得到的三維模型間的顯式空間關系與對照空間知識圖譜的得到的隱式空間關系，實現對抽取的三維模型的放置，還原文本數據對三維室內場景的描述，實現對用戶意圖的智能辨別和對三維室內場景的重建。

技術領域

本發明涉及基于深度學習的自然語言處理技術和文本特征提取技術，具體是涉及一種基于文本的三維室內場景重建的方法。

背景技術

自然語言是一種描述視覺創意和精神意象的簡單而有效的媒介，基于自然語言的三維室內場景重建將人們從繁雜的軟件學習和操作中解脫出來。在面向生活中各個領域的虛擬現實、增強現實、混合現實的諸多應用中，需要大量逼真的三維室內場景，供用戶在其中進行各類交互活動。互聯網的迅猛發展和日益普及使得相關文本這類簡單卻蘊含大量真實場景信息的數據的獲取、聚集、存儲、傳輸、處理、分析等變得越來越便捷。三維數據的數量不及文本數據，雖然在互聯網上已經存在一些三維模型數據庫，但仍需要進行三維模型的檢索與生成，以便支持三維室內場景的重建。這些海量數據資源為三維室內場景生成的研究提供了必要的數據基礎。因此開展基于文本的三維室內場景重建方法研究具有重要的理論意義和廣泛的應用價值。

設計三維室內場景目前是一項富有創造性的任務，目前已有技術需要在使用復雜的三維設計界面方面擁有豐富的專業知識和精力。這種復雜的設計過程與人們直接用語言描述真實和虛構環境的容易程度形成了鮮明對比。我們介紹的這種方法，允許用戶使用自然語言設計三維室內場景。用戶提供輸入文本，我們從中提取應該出現在場景中的三維模型和它們之間的顯式空間關系和隱式空間關系。這樣的優勢在于，隨著文本命令的更改，通過我們提出的方法，可以通過添加，移除，和替換對象來迭代地更改重建的場景。知識圖譜是一個具有屬性的實體通過關系鏈接而成的網狀語義知識庫。從圖的角度來看，知識圖譜在本質上是一種概念網絡，其中的節點表示物理世界中的實體，而實體之間的各種語義關系則構成網絡中的邊.由此，知識圖譜是對物理世界的一種符號表達。其基本組成單位是“實體－關系－實體”三元組，以及實體及其相關屬性－值對，實體間通過關系相互聯結，構成網狀的知識結構。知識圖譜的應用價值在于，它能夠改變現有的信息檢索方式，一方面通過推理實現概念檢索(相對于現有的字符串模糊匹配方式而言)；另一方面以圖形化方式向用戶展示經過分類整理的結構化知識，從而使人們從人工過濾網頁尋找答案的模式中解脫出來。

三維室內場景的生成是在獲取相關數據的基礎上，結合用戶的上下文以及先驗知識，對用戶數據進行分析與推理，結合三維模型檢索與生成、三維室內場景生成與渲染等技術，準確理解用戶真實意圖，生成三維室內場景。用戶文本數據的分析與推理、三維模型檢索與生成、三維室內場景的生成與渲染是根據用戶數據生成三維室內場景的研究重點。雖然已經取得了許多成果，但對用戶數據的理解較差，在三維室內場景的生成過程中存在三維模型間幾何關系不精準、比例適配不均衡等問題。因此，需要結合文本，利用基于深度學習的自然語言處理技術和文本特征提取技術，對輸入的文本數據進行深度語義分析與場景空間關系抽取，得到文本中涉及的三維模型，顯式空間關系，以及對照空間知識圖譜抽取得到的隱式空間關系，全面獲取三維室內場景中三維模型之間的空間關系并完成對場景的重建。