[發明專利]一種動態光場重建方法、裝置及設備

有效

• 申請號: 202110540712.2
• 申請日: 2021-05-18
• 公開（公告）號: CN113192185B
• 公開（公告）日: 2022-05-17
• 發明（設計）人: 方璐;季夢奇;鄭添;袁肖赟;王生進
• 申請（專利權）人: 清華大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T7/557;G06T7/80;H04N19/597
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

本發明公開了一種動態光場重建方法、裝置及設備。方法包括：對多視角視頻分別進行幀間的運動估計確定各視角的動態區域獲得動態區域集；基于動態區域集對所述多視角視頻的每一幀進行深度估計獲得多視角視頻中主視角視頻每一幀的深度圖；基于動態區域集對多視角視頻的每一幀進行RGB壓縮編碼獲得主視角視頻每一幀的第一RGB信息；根據深度圖和第一RGB信息確定空間體素每一幀的第二RGB信息和距離場SDF信息；基于第二RGB信息和SDF信息構建三維動態模型。利用該方法，能夠根據第一RGB信息和深度圖直接進行三維構建，無需對第一RGB信息和深度圖進行解壓，可以將壓縮和三維構建一體化設計，減小三維構建過程中的數據通量，有效提高光場重建的效率。

技術領域

本發明實施例涉及三維構建技術領域，尤其涉及一種動態光場重建方法、裝置及設備。

背景技術

按照光場的特點，光場可以被等價地視作多個不同角度同時拍攝的一系列二維圖形的融合。隨著光場成像技術的不斷更新，現有的光場成像可達十億像素的空間分辨率。獲得高分辨率光場信息的代價是極高的數據通量。例如，目前頂尖的十億像素級光場成像，其輸出一幀占用空間高達2GB以上，這為存儲和后續的計算處理帶來極大的負擔。

現有技術中是是將光場的壓縮和三維重建技術視作不相關的兩類任務，若需要重建三維模塊，需要先將壓縮格式的光場數據進行解壓縮之后才能對解壓后的光場進行三維重建。其中，對光場數據進行壓縮和解壓縮是一個計算量較大的過程，此外，對光場數據進行解壓縮后會增加存儲空間。

發明內容

本發明實施例提供了一種動態光場重建方法、裝置及設備，能夠減小三維構建過程中的數據通量，有效提高光場重建的效率。

第一方面，本發明實施例提供了一種動態光場重建方法，包括：

對多視角視頻分別進行幀間的運動估計，確定各視角的動態區域，獲得動態區域集；

基于所述動態區域集對所述多視角視頻的每一幀進行深度估計，獲得所述多視角視頻中主視角視頻每一幀的深度圖；

基于所述動態區域集對所述多視角視頻的每一幀進行RGB壓縮編碼，獲得所述主視角視頻每一幀的第一RGB信息；

根據所述深度圖和所述第一RGB信息確定空間體素每一幀的第二RGB信息和距離場SDF信息；

基于所述第二RGB信息和所述SDF信息構建三維動態模型。

第二方面，本發明實施例還提供了一種動態光場重建裝置，包括：

第一獲取模塊，用于對多視角視頻分別進行幀間的運動估計，確定各視角的動態區域，獲得動態區域集；

第二獲取模塊，用于基于所述動態區域集對所述多視角視頻的每一幀進行深度估計，獲得所述多視角視頻中主視角視頻每一幀的深度圖；

第三獲取模塊，用于基于所述動態區域集對所述多視角視頻的每一幀進行RGB壓縮編碼，獲得所述主視角視頻每一幀的第一RGB信息；

確定模塊，用于根據所述深度圖和所述第一RGB信息確定空間體素每一幀的第二RGB信息和距離場SDF信息；

構建模塊，用于基于所述第二RGB信息和所述SDF信息構建三維動態模型。

第三方面，本發明實施例還提供了一種計算機設備，所述計算機設備包括：

一個或多個處理裝置；

存儲裝置，用于存儲一個或多個指令；

當所述一個或多個指令被所述一個或多個處理裝置執行，使得所述一個或多個處理裝置實現如本發明實施例所述的動態光場重建方法。