[發明專利]3D深度圖構建方法、裝置及AR眼鏡

在審

• 申請號: 202011303757.X
• 申請日: 2020-11-19
• 公開（公告）號: CN114519763A
• 公開（公告）日: 2022-05-20
• 發明（設計）人: 朱方;王依可;錢小兵;劉彥賓
• 申請（專利權）人: 中興通訊股份有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T19/00;G06T5/50;G06T3/40;G06F3/01
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 劉旺貴

本發明實施例提供了一種3D深度圖構建方法、裝置及AR眼鏡，該方法包括：對原始ToF采集信號進行基于光學多路復用的壓縮感知增強，獲得第一ToF采集信號；對所述第一ToF采集信號對應的ToF圖像進行基于滑動時間窗的多幀超分辨率增強，重構高解析度的第二ToF采集信號；根據所述第二ToF采集信號利用特定類可變形三維模型構建ToF圖像的3D深度圖；對所述3D深度圖進行基于置信度的多正交域增強3D深度圖融合。在本發明中，通過多正交多域感知融合增強，從而構建具有高精度和高解析度的3D深度圖。

技術領域

本發明涉及3D深度感知技術領域，具體而言，涉及一種3D深度圖構建方法、裝置及AR眼鏡。

背景技術

輕薄增強現實(Augmented Reality，AR)眼鏡是AR行業面向個人(To-Customer，2C)應用日益普及的重要設備，其中AR感知中日益重要的視覺三維(3-Dimension，3D)感知(即可視范圍內的深度信息感知)已經成為一個不可或缺的技術要點。高精度的稠密深度圖像是感知精細結構和完整物體(場景)表面理解的一個重要依據，也是基于3D感知AR的一個重要核心技術，對AR設備存在重要意義。大部分輕便AR眼鏡已經廣泛采用小尺寸的主動傳感器(ToF)和被動傳感器(Red Green Blue，RGB)構建RGBD(RGB Depth)成像來檢測獲取視野域的深度信息。

主動深度傳感器，如飛行時間(Time of Flight，ToF)，是一種有源3D成像技術，具有如圖1所示的主動光源陣列。其深度感知圖像解析度和光源陣列尺寸有明顯關系，且容易受到多徑傳播的影響在邊緣部出現較高的噪音。不同精度不同解析度的RGBD感知圖，對于用戶的交互和體驗感受具有非常大的影響。輕便AR眼鏡獲取稠密深度圖像，目前的方式為融合單幀RGB和ToF圖像。

當前的輕便AR眼鏡所使用的稠密深度圖像感知方案，核心問題是高精度和高解析度的不足，對于邊緣等引發的噪音缺陷以及原始精度的不足無法有效抑制。由此導致的深度圖顆粒瑕疵和缺失瑕疵及過渡模糊，與AR應用的體驗發展趨勢不匹配。

發明內容

本發明實施例提供了一種3D深度圖構建方法、裝置及AR眼鏡，以至少解決相關技術中深度感知圖像的精度和解析度不足的問題。

根據本發明的一個實施例，提供了一種3D深度圖構建方法，包括：對原始ToF采集信號進行基于光學多路復用的壓縮感知增強，獲得第一ToF采集信號；對所述第一ToF采集信號對應的ToF圖像進行基于滑動時間窗的多幀超分辨率增強，重構高解析度的第二ToF采集信號；根據所述第二ToF采集信號利用特定類可變形三維模型構建ToF圖像的3D深度圖；對所述3D深度圖進行基于置信度的多正交域增強3D深度圖融合。

在一個示例性實施例中，對原始ToF采集信號進行基于光學多路復用的壓縮感知增強獲得第一ToF采集信號，包括：在ToF采集圖像的多次曝光過程中更改時分復用光編碼模塊上的編碼，實現場景的時分多路復用，以重建具有高分辨率振幅和深度圖像的所述第一ToF采集信號。

在一個示例性實施例中，在ToF采集圖像的多次曝光過程中更改時分復用光編碼模塊上的編碼，實現場景的時分多路復用，以重建具有高分辨率振幅和深度圖像的所述第一ToF采集信號，包括：在原始ToF采集路徑的所述時分復用光編碼模塊上形成場景的線性圖像；在ToF采集圖像的多次曝光過程中，通過更改所述時分復用光編碼模塊上的編碼，進行場景的時分多路復用；將所述場景的線性圖像中繼到ToF采集平面上；所述ToF采集平面上的ToF像素收集所述場景的線性圖像，重建具有高分辨率振幅和深度圖像的所述第一ToF采集信號。

在一個示例性實施例中，對所述第一ToF采集信號對應的ToF圖像進行基于滑動時間窗的多幀超分辨率增強，獲得第二ToF采集信號，包括：所述在滑動時間窗內，根據所述第一ToF采集信號獲取低解析度的ToF圖像，并通過多幀的所述ToF圖像的相量圖基于場景真實信號的概率分布進行場景真實信號的重構，生成高解析度的第二ToF采集信號。