[發明專利]一種單張深度圖點云場景語義補全的方法

有效

• 申請號: 202010741547.2
• 申請日: 2020-07-29
• 公開（公告）號: CN112037138B
• 公開（公告）日: 2022-09-20
• 發明（設計）人: 楊鑫;李童;張肇軒;尹寶才;樸星霖
• 申請（專利權）人: 大連理工大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T17/00;G06V20/70;G06V10/26;G06V10/82;G06N3/04;G06N7/00
• 代理公司: 大連理工大學專利中心 21200
• 代理人: 李曉亮;潘迅

本發明提供了一種單張深度圖點云場景語義補全的方法，屬于計算機視覺領域中的三維重建領域。該方法通過在深度圖、深度分割圖和點云相互投影的過程中轉換視點修補漏洞，實現同時進行高分辨率點云補全和語義分割。本發明解決了場景語義補全問題中體素表現形式分辨率低、點云表現形式無法兼顧語義分割的問題，通過在三維點云上進行場景語義補全，可以同時恢復場景的高分辨率幾何結構和語義信息細節；本發明基于單張深度圖，可以同時完成三維點云補全和語義分割的任務；證實了語義信息和三維幾何信息約束對點云場景語義補全的有效性。

技術領域

本發明屬于計算機視覺領域中的三維重建(3D Reconstruction)領域，具體實現結果為室內場景的點云語義補全，特別涉及一種同時進行表面補全和語義分割的方法。

背景技術

三維重建中的語義場景重建任務是根據二維圖像恢復三維場景并得到語義信息的過程。借助于深度信息，三維場景重建可以更加精確可靠。然而采集到的深度圖往往因為遮擋和固定視點的原因并不完整，對局部深度圖進行理解和重建變得至關重要。從早期的體素方法，到端到端的深度卷積神經網絡架構，再到RGB與深度信息的融合，語義場景補全的方法隨著深度學習的不斷發展日益進步與完善。

但是這些方法重建出來的體素化場景分辨率低，原始場景的高頻細節無法準確還原。為了解決該限制，一種體素引導的漸進視圖補全方法被提出，以高分辨率點云的形式替代了體素表達。盡管重建效果可觀，但仍有改進空間。例如，重建的三維點云沒有提供任何語義信息；在二維補全階段只關注全局上下文信息而忽略了局部信息；選取視點的獎勵函數只考慮了二維補全效果而忽略了三維重建質量。

與點云場景語義補全方法相關的現有的方法主要包含語義場景補全、點云補全和點云分割等方法。

(a)語義場景補全

語義場景補全旨在生成一個從單視點觀測到的以完整三維體素形式展現的的場景體積占據表示，帶有語義標簽，是幾何補全的一個子任務。通常以單張深度圖為輸入，或輔以RGB圖像，利用深度、幾何、語義等信息，實現場景的語義補全。但這些方法都基于體積表示結果，分辨率低，場景表達受限，達不到點云能夠實現的精細化效果。

(b)點云補全

點云補全的目的是從不完整的區域中推斷出完整的幾何體形狀。圍繞這個問題，許多基于學習的離線和在線方法被提出，點云補全在準確率、保真度和效率等方面有了較大的提升，缺失區域的幾何結構也得以在一定程度上進行恢復。但這些方法僅解決了物體級別的點補全任務，在大規模的場景中并不適用。

(c)點云分割

點云分割是根據空間、幾何和紋理等特征對點云進行劃分，使得同一劃分內的點云擁有相似的特征，是對二維圖像域的擴展。通過卷積神經網絡、多層感知機等諸多方案，可以實現精細化點云級別的語義分割效果。但是這些方法都以點云作為輸入，通過不同的網絡來直接處理三維點，不能實現從局部深度圖產生帶有語義標簽的完整點云的效果。

發明內容

本發明的目的是針對單張深度圖，通過在深度圖、深度分割圖和點云相互投影的過程中轉換視點修補漏洞，實現同時進行高分辨率點云補全和語義分割的方法，適用于室內場景。為實現上述目的，本發明提出了一種受語義信息和三維幾何約束的點云場景語義補全的方法，將全局與局部信息結合，二維與三維信息結合，通過給定單張深度圖，來生成最終的點云場景語義補全結果。

本發明的技術方案為：

一種單張深度圖點云場景語義補全的方法，該方法包括以下步驟：

步驟1：生成特定視點下帶有語義標注的初始點云

1.1)基于給定深度圖D₀和其對應的視點v₀，選用DANet作為深度圖語義分割網絡，來預測每個像素的語義標簽，生成深度分割圖S₀。