[發(fā)明專利]一種基于深度學習的TOF深度成像方法

在審

• 申請?zhí)枺?/td>: 202110015239.6
• 申請日: 2021-01-06
• 公開（公告）號: CN114723797A
• 公開（公告）日: 2022-07-08
• 發(fā)明（設計）人: 胡雪梅;李家渠;岳濤;黃晨迪
• 申請（專利權）人: 南京大學
• 主分類號: G06T7/514
• 分類號: G06T7/514;G06T5/00;G06N3/08
• 代理公司: 江蘇法德東恒律師事務所 32305
• 代理人: 李媛媛

1.一種基于深度學習的TOF深度成像方法，其特征在于，包括如下步驟：

步驟1，將訓練數(shù)據集中的深度圖輸入到TOF成像網絡，TOF成像網絡包括調制函數(shù)、解調函數(shù)和去噪成像子網絡；

步驟2，使用一個可學習的矩陣模擬實際TOF成像的調制函數(shù)，根據深度圖的每個像素的值進行相應的移位；

步驟3，使用另一個可學習的矩陣模擬實際TOF成像的解調函數(shù)，與步驟2的輸出進行積分操作；

步驟4，將步驟3積分后的結果加上環(huán)境光以及光子噪聲和傳感器讀取的噪聲，構成帶噪聲的測量圖；

步驟5，將帶噪聲的測量圖輸入給TOF成像網絡的去噪成像子網絡，去噪成像子網絡與調制函數(shù)和解調函數(shù)同時用深度學習的方法訓練，得到訓練好的調制函數(shù)、解調函數(shù)和去噪成像子網絡；

步驟6，使用步驟5訓練得到的調制函數(shù)對激光二極管進行調制，驅動激光二極管發(fā)射激光照亮場景；

步驟7，場景物體表面反射回的反射光，經過分光器后，聚焦到探測器上，探測器接收到帶有調制信息的反射信號；

步驟8，將步驟7反射信號與步驟5訓練得到的解調函數(shù)經過乘法器相乘，再經過低通濾波器進行積分，使用模數(shù)轉換器對低通濾波器輸出的電壓進行采集；

步驟9，重復步驟6至步驟8，掃描場景中的每個點，完成對場景中所有的點的深度測量，得到帶有噪聲的測量圖；

步驟10，把步驟9得到的帶有噪聲的測量圖輸入給步驟5訓練得到的去噪成像子網絡，得到場景的深度圖，完成TOF深度成像。

2.根據權利要求1所述的一種基于深度學習的TOF深度成像方法，其特征在于，所述步驟7中，假設使用的調制函數(shù)為M(t)，探測器接收到的反射信號為：f(t)＝αM(t-t₀)+β；其中α是反射率，t₀是在空間傳遞的時延，β是外部光源引起的輻射分量。