[發明專利]基于HoloLens空間映射的三維場景語義分析方法

在審

• 申請號: 202110331289.5
• 申請日: 2021-03-29
• 公開（公告）號: CN113129372A
• 公開（公告）日: 2021-07-16
• 發明（設計）人: 吳學毅;李云騰
• 申請（專利權）人: 西安理工大學
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 西安弘理專利事務所 61214
• 代理人: 寧文濤

本發明公開了一種基于HoloLens空間映射的三維場景語義分析方法，具體按照以下步驟實施：通過HoloLens對室內真實場景進行掃描重建，獲得場景的三維空間映射的網格數據a；將得到的網格數據a轉換成點云數據b，并完成點云數據b的預處理和數據標注；步驟不斷重復前兩步直至完成所需要室內數據的采集和標注，并制作成室內點云數據集以及類別信息查找表；對三維場景語義神經網絡進行模型訓練，并保存訓練模型M；HoloLens場景語義分析工具包制作，完成場景信息標注和空間區域劃分，提高HoloLens對空間認知能力。本發明提供的方法可以提高HoloLens空間映射能力以及在HoloLens中直接觀察空間物體的分布和類別的能力，提升HoloLens對空間環境的感知能力。

技術領域

本發明屬于計算機視覺技術領域，涉及一種基于HoloLens空間映射的三維場景語義分析方法。

背景技術

隨著硬件技術的革新，虛擬現實(VR)、增強現實(AR)以及混合現實(MR)在三維空間認知上有了很大提升。混合現實技術將真實場景和虛擬場景結合起來，并且可以與之交互，增強了用戶的真實感體驗。

HoloLens是微軟推出的一款混合現實設備，用戶在佩戴HoloLens之后可以通過眼鏡上的透鏡看到真實的環境，同時虛擬的數字模型和動畫也會通過透鏡顯示出來。HoloLens可以通過傳感器獲取周圍真實場景的三維掃描數據，利用HoloToolKit工具包可將三維數據進行空間映射處理，使之成為緊貼真實場景物體表面的網格數據。但是HoloLens獲取的場景數據只具備場景的XYZ坐標信息，缺乏場景的顏色(RGB)信息，并且空間映射僅僅停留在將真實環境轉化為整體網格模型,無法對真實空間物體進行解析，形成對三維空間物體的認知。本發明是在HoloLens所獲得的空間映射數據基礎上，通過將空間映射數據轉換為點云數據，并對其進行語義分析，從而獲得關于真實空間物體個體的認知，為更為復雜的智能交互做好準備。

發明內容

本發明的目的是提供一種基于HoloLens空間映射的三維場景語義分析方法，解決了現有技術中存在的HoloLens無法通過三維數據對三維場景進行語義分析的問題。

本發明所采用的技術方案是，一種基于HoloLens空間映射的三維場景語義分析方法，具體按照以下步驟實施：

步驟1：通過HoloLens對室內真實場景進行掃描重建，獲得場景的三維空間映射的網格數據a；

步驟2：將步驟1得到的網格數據a轉換成點云數據b，并完成點云數據b的預處理和數據標注；

步驟3：不斷重復步驟1和步驟2，直至完成所需要室內數據的采集和標注，并制作成室內點云數據集以及類別信息查找表；

步驟4：對三維場景語義神經網絡進行模型訓練，并保存訓練模型M；

步驟5：HoloLens場景語義分析工具包制作，完成場景信息標注和空間區域劃分，提高HoloLens對空間認知能力。

本發明的特點還在于：

步驟1具體按照以下步驟實施：

步驟1.1、通過局域網內PC端登錄HoloLens IP地址；

步驟1.2、佩戴HoloLens在室內場景中走動，HoloLens將進行場景建模；

步驟1.3、不斷更新網頁端，并下載HoloLens空間映射的室內場景網格數據a，保存格式為.obj。

步驟2具體按照以下步驟實施：

步驟2.1、對網格數據a進行泊松圓盤采樣，通過選擇不同的半徑r對點云N個鄰域點進行采樣判斷，N為30～50，得到均勻分布的點云數據b；

步驟2.2、將點云數據b依次經過直通濾波、統計濾波和雙邊濾波進行離群點剔除，得到點云數據c。