[發明專利]基于照明優化的結構光成像方法及裝置

在審

• 申請號: 202110977086.3
• 申請日: 2021-08-24
• 公開（公告）號: CN113808017A
• 公開（公告）日: 2021-12-17
• 發明（設計）人: 邊麗蘅;任秋凌;張軍
• 申請（專利權）人: 北京理工大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/08;G06N3/04
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 羅嵐

1.一種基于照明優化的結構光成像方法，其特征在于，包括以下步驟：

設計基于深度神經網絡的編碼網絡和解碼網絡；

利用所述深度神經網絡訓練所述編碼網絡和所述解碼網絡，得到優化的編碼網絡和優化的解碼網絡；

利用所述優化的網絡編碼照明樣本，得到所述樣本的成像；

將所述樣本的成像輸入到所述優化的解碼網絡中，輸出超分辨率圖像。

2.根據權利要求1所述的基于照明優化的結構光成像方法，其特征在于，所述編碼網絡獲取優化的結構光照明編碼，輸入高分辨率圖像，輸出經優化的結構光照明的低分辨率圖像。

3.根據權利要求1所述的基于照明優化的結構光成像方法，其特征在于，所述解碼網絡用于將所述低分辨率的圖像作為輸入，重建出所述超分辨率的圖像。

4.根據權利要求2所述的基于照明優化的結構光成像方法，其特征在于，所述編碼網絡獲取優化的結構光照明編碼，輸入高分辨率的圖像，輸出經優化的結構光照明的低分辨率的圖像，包括：

設置更新迭代的結構光編碼照明層，經過低通濾波后和所述編碼網絡輸入的高分辨率的圖像進行點乘操作，得到所述點乘操作的操作結果；

將所述操作結果再經過一次低通濾波得到所述經優化的結構光照明的低分辨率的圖像。

5.根據權利要求4所述的基于照明優化的結構光成像方法，其特征在于，所述低通濾波的操作為將所述低分辨率的圖像進行傅里葉變換，并對所述低分辨率的圖像點乘光學傳遞函數，以進行逆傅里葉變換得到空域中的圖像。

6.根據權利要求5所述的基于照明優化的結構光成像方法，其特征在于，所述進行逆傅里葉變換得到空域中的圖像，由下面公式計算：

其中，是樣本的成像，是樣本出射光的強度分布函數，OTF是光學傳遞函數。

7.根據權利要求6所述的基于照明優化的結構光成像方法，其特征在于，所述設計基于深度神經網絡的解碼網絡，包括：

基于U2NET的網絡、基于注意力機制的網絡和基于神經網絡的變種或發展模型中的一種。

8.根據權利要求1所述的基于照明優化的結構光成像方法，其特征在于，所述利用所述深度神經網絡訓練所述編碼網絡和所述解碼網絡，包括：

使用所述高分辨率圖像的數據集對所述編碼網絡和所述解碼網絡進行訓練。

9.根據權利要求1所述的基于照明優化的結構光成像方法，其特征在于，所述利用所述優化的網絡編碼照明樣本，得到所述樣本的成像，包括：

經過所述優化的編碼網絡優化得到的編碼照明結構光由空間光調制器產生，經分光鏡投射在被觀測樣本平面，所述樣本的反射光由傳感器接收采集。

10.一種基于照明優化的結構光成像裝置，其特征在于，包括：

設計模塊，用于設計基于深度神經網絡的編碼網絡和解碼網絡；

訓練模塊，用于利用所述深度神經網絡訓練所述編碼網絡和所述解碼網絡，得到優化的編碼網絡和優化的解碼網絡；

照明模塊，用于利用所述優化的網絡編碼照明樣本，得到所述樣本的成像；

輸出模塊，用于將所述樣本的成像輸入到所述優化的解碼網絡中，輸出超分辨率圖像。