[發明專利]3D深度圖構建方法、裝置及AR眼鏡

在審

• 申請號: 202011303757.X
• 申請日: 2020-11-19
• 公開（公告）號: CN114519763A
• 公開（公告）日: 2022-05-20
• 發明（設計）人: 朱方;王依可;錢小兵;劉彥賓
• 申請（專利權）人: 中興通訊股份有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T19/00;G06T5/50;G06T3/40;G06F3/01
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 劉旺貴

1.一種3D深度圖構建方法，其特征在于，包括：

對原始ToF采集信號進行基于光學多路復用的壓縮感知增強，獲得第一ToF采集信號；

對所述第一ToF采集信號對應的ToF圖像進行基于滑動時間窗的多幀超分辨率增強，重構高解析度的第二ToF采集信號；

根據所述第二ToF采集信號利用特定類可變形三維模型構建ToF圖像的3D深度圖；

對所述3D深度圖進行基于置信度的多正交域增強3D深度圖融合。

2.根據權利要求1所述的方法，其特征在于，對原始ToF采集信號進行基于光學多路復用的壓縮感知增強，獲得第一ToF采集信號，包括：

在ToF采集圖像的多次曝光過程中更改時分復用光編碼模塊上的編碼，實現場景的時分多路復用，以重建具有高分辨率振幅和深度圖像的所述第一ToF采集信號。

3.根據權利要求2所述的方法，其特征在于，在ToF采集圖像的多次曝光過程中更改時分復用光編碼模塊上的編碼，實現場景的時分多路復用，以重建具有高分辨率振幅和深度圖像的所述第一ToF采集信號，包括：

在原始ToF采集路徑的所述時分復用光編碼模塊上形成場景的線性圖像；

在ToF采集圖像的多次曝光過程中，通過更改所述時分復用光編碼模塊上的編碼，進行場景的時分多路復用；

將所述場景的線性圖像中繼到ToF采集平面上；

所述ToF采集平面上的ToF像素收集所述場景的線性圖像，重建具有高分辨率振幅和深度圖像的所述第一ToF采集信號。

4.根據權利要求1所述的方法，其特征在于，對所述第一ToF采集信號對應的ToF圖像進行基于滑動時間窗的多幀超分辨率增強，重構高解析度的第二ToF采集信號，包括：

所述在滑動時間窗內，根據所述第一ToF采集信號獲取低解析度的ToF圖像，并通過多幀的所述ToF圖像的相量圖基于場景真實信號的概率分布進行場景真實信號的重構，生成高解析度的第二ToF采集信號。

5.根據權利要求4所述的方法，其特征在于，根據所述第一ToF采集信號獲取低解析度的ToF圖像，并通過多幀的所述ToF圖像的相量圖基于場景真實信號的概率分布進行場景真實信號的重構，生成高解析度的第二ToF采集信號，包括：

根據所述第一ToF采集信號獲取所述低解析度的ToF圖像，并計算所述低解析度的ToF圖像的相量圖；

根據所述滑動時間窗內的所述低解析度的ToF圖像序列計算得出重構的高解析度的ToF圖像序列；

根據所述高解析度的ToF圖像序列基于場景真實信號的概率分布進行場景真實信號的重構，生成高解析度的第二ToF采集信號。

6.根據權利要求1所述的方法，其特征在于，根據所述第二ToF采集信號利用特定類可變形三維模型構建ToF圖像的3D深度圖，包括：

從目標檢測數據集的2D注釋中學習類別特定的可變形模型；

結合對象檢測、實例分割和視點估計，以識別、定位和估計ToF圖像中的對象的姿態；

結合所述視點估計得到的估計視點和實例化信息，使用所述學習的可變形模型，對所述ToF圖像中的對象進行3D重構；

融合三維形狀和高頻局部形狀指示，重建包含多視圖觀察角度的所述3D深度圖。

7.根據權利要求1所述的方法，其特征在于，其中，所述多正交域增強包括時間域增強、相位域增強和語義增強。

8.一種3D深度圖構建裝置，其特征在于，包括：

第一增強模塊，用于對原始ToF采集信號進行基于光學多路復用的壓縮感知增強，獲得第一ToF采集信號；

第二增強模塊，用于對所述第一ToF采集信號對應的ToF圖像進行基于滑動時間窗的多幀超分辨率增強，重構高解析度的第二ToF采集信號；

構建模塊，用于根據所述第二ToF采集信號利用特定類可變形三維模型構建ToF圖像的3D深度圖；

融合模塊，用于對所述3D深度圖進行基于置信度的多正交域增強3D深度圖融合。