[發明專利]一種基于深度學習的TOF深度成像方法

在審

• 申請號: 202110015239.6
• 申請日: 2021-01-06
• 公開（公告）號: CN114723797A
• 公開（公告）日: 2022-07-08
• 發明（設計）人: 胡雪梅;李家渠;岳濤;黃晨迪
• 申請（專利權）人: 南京大學
• 主分類號: G06T7/514
• 分類號: G06T7/514;G06T5/00;G06N3/08
• 代理公司: 江蘇法德東恒律師事務所 32305
• 代理人: 李媛媛

本發明公開了一種基于深度學習的TOF深度成像的方法。具體步驟如下：(1)向TOF成像網絡輸入深度圖，使用可學習的矩陣模擬TOF的調制函數，根據深度圖的像素值進行相應的移位；(2)使用可學習的矩陣模擬TOF的解調函數，與上一步的輸出進行積分操作；(3)積分后加上環境光，再加入噪聲，輸入給去噪成像子網絡；(4)將調制函數、解調函數以及去噪成像子網絡同時訓練；(5)使用訓練得到的調制函數來調制激光二極管，照亮場景；(6)使用APD測量反射回的信號，與訓練得到的解調函數相乘；(7)相乘后的信號經過低通濾波器，測量電壓值；(8)電壓值輸入給訓練得到的去噪成像子網絡，完成TOF深度成像。本方法可以增強TOF深度成像對噪聲的魯棒性，提高成像的精度。

技術領域

本發明涉及計算攝像學和深度學習領域，尤其涉及一種基于深度學習的TOF深度成像技術。

背景技術

近年來，隨著人工智能浪潮的興起，將人工智能應用于計算攝像學的領域已經成為計算機視覺、數字信號處理、光學等領域的前沿研究熱點。

對深度圖的處理作為人工智能的一種應用正引起廣泛的關注，深度成像的相關研究工作對于自動駕駛、地理遙感、醫學成像等領域有著重要的意義。深度圖應用范圍廣，相對二維圖像，可通過距離信息獲取物體之間更加豐富的位置關系，即區分前景與后景。經過進一步深化處理，可以完成三維建模等應用，而且可以能夠快速完成對目標的識別與追蹤。同時，深度信息依舊可以完成對目標圖像的分割、標記、識別、跟蹤等傳統應用。

傳統的Time-of-Flight(TOF)的深度成像方法，使用脈沖波直接測兩個信號的時間間隔來獲取深度信息，或者使用正弦信號作為調制和解調函數，通過測相位的方式來獲取深度信息。但傳統的TOF深度成像方法存在著一些缺點，例如：受到噪聲的影響大，測量的精度相對較低；測量結果受被測物性質、外界環境和外界光源干擾較為明顯；系統誤差及隨機誤差對結果影響明顯，需要進行后期數據處理等。

發明內容

為解決以上現有TOF成像方法中存在的缺陷，本發明的目的在于提出一種基于深度學習的TOF深度成像方法。

為達上述目的，本發明采用的技術方案如下：

一種基于深度學習的TOF深度成像方法，包括如下步驟：

步驟1，將訓練數據集中的深度圖輸入到TOF成像網絡，TOF成像網絡包括調制函數、解調函數和去噪成像子網絡；

步驟2，使用一個可學習的矩陣模擬實際TOF成像的調制函數，該矩陣根據深度圖的每個像素的值進行相應的移位；

步驟3，使用另一個可學習的矩陣模擬實際TOF成像的解調函數，與步驟2的輸出進行積分操作；

步驟4，將步驟3積分后的結果加上環境光以及光子噪聲和傳感器讀取的噪聲，構成帶噪聲的測量圖；

步驟5，將帶噪聲的測量圖輸入給TOF成像網絡的去噪成像子網絡，去噪成像子網絡與調制函數和解調函數同時用深度學習的方法訓練，得到訓練好的調制函數、解調函數和去噪成像子網絡；

步驟6，使用步驟5訓練得到的調制函數對激光二極管進行調制，驅動激光二極管發射激光照亮場景；

步驟7，場景物體表面反射回的反射光，經過分光器后，聚焦到探測器上，探測器接收到帶有調制信息的反射信號；

步驟8，將步驟7的反射信號與步驟5訓練得到的解調函數經過乘法器相乘，再經過低通濾波器進行積分，使用模數轉換器對低通濾波器輸出的電壓進行采集；

步驟9，重復步驟6至步驟8，掃描場景中的每個點，完成對場景中所有的點的深度測量，得到帶有噪聲的測量圖；

步驟10，把步驟9得到的帶有噪聲的測量圖輸入給步驟5訓練得到的去噪成像子網絡，得到場景的深度圖，完成TOF深度成像。