[發明專利]光電感算一體光場智能成像方法及裝置

有效

• 申請號: 202111168889.0
• 申請日: 2021-10-08
• 公開（公告）號: CN113630517B
• 公開（公告）日: 2022-01-25
• 發明（設計）人: 方璐;王勇;袁肖赟;周天貺;戴瓊海
• 申請（專利權）人: 清華大學
• 主分類號: H04N5/14
• 分類號: H04N5/14;G06N3/04;G06N3/08
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 羅嵐

1.一種光電感算一體光場智能成像方法，其特征在于，包括以下步驟：

待成像場景或物體的光信號，經過光學計算模塊，得到光學計算結果；所述光學計算結果為所述待成像場景或物體的光場成像；

獲取所述光學計算結果，通過電學計算操作對所述光學計算結果進行計算，得到電學計算結果；

根據所述電學計算結果，判斷是否需要級聯，如果需要，則將上一級電學計算結果作為下一級光學計算模塊的輸入，形成級聯結構；如果不需要，則輸出最終電學計算結果；

定義所述光學計算結果為 f_opt(x,y)，所述電學計算操作的輸出為：

f_elec(x,y)=H{kf_opt(x,y)+b}

其中，k和b在完整實數域上取值，為待優化參數，H為一種固定的非線性運算；

所述通過電學計算操作對所述光學計算結果進行計算，得到電學計算結果，包括：輸入光信號經過光學卷積模塊后到達傳感器，所述傳感器將光信號轉變為電信號，通過設計好的模擬電路改變電信號的取值完成電學運算，得到所述電學計算結果。

2.根據權利要求1所述的光電感算一體光場智能成像方法，其特征在于，在所述光學計算模塊完成的運算操作為卷積操作；所述光學計算模塊包括：空域調制和頻域調制兩種形式；其中，

所述空域調制由輸入平面的光信號自由傳播至調制平面，經所述調制平面調制后再自由傳播至輸出平面；

所述頻域調制由輸入平面的光信號經過一個透鏡自由傳播至調制平面，經所述調制平面調制后，經過另一透鏡到達輸出平面；其中，每兩個平面間的距離均為所述透鏡的焦距。

3.根據權利要求1所述的光電感算一體光場智能成像方法，其特征在于，經過所述電學計算操作的電信號，用于操控編程的非相干光源，將上一級電學計算結果投射出來，做為下一級光學計算模塊的輸入光源，以形成級聯結構。

4.根據權利要求1所述的光電感算一體光場智能成像方法，其特征在于，所述方法還包括：

搭建卷積神經網絡，完成光學參數和電學參數的聯合優化；

通過搭建好的所述卷積神經網絡，優化所述光學計算模塊中的調制平面參數。

5.根據權利要求4所述的光電感算一體光場智能成像方法，其特征在于，所述搭建卷積神經網絡，完成光學參數和電學參數的聯合優化，包括：

在搭建卷積神經網絡的過程中，利用光學計算高并行性的優勢將多通道卷積轉為單通道；其中，將所述多通道卷積中的多個卷積核，以拼圖拼接的方式將所述多個卷積核堆砌在一個平面內，形成一個大尺寸的卷積核。

6.根據權利要求5所述的光電感算一體光場智能成像方法，其特征在于，所述通過搭建好的所述卷積神經網絡，優化所述光學計算模塊中的調制平面參數，包括：

基于拼接好的所述大尺寸的卷積核，以梯度下降的方式優化調制平面參數，并基于L1范數損失函數使得所述光學計算模塊對于點光源輸入的輸出圖案與目標的卷積核圖案接近，直到所述損失函數的值下降到預設閾值以下。

7.根據權利要求5所述的光電感算一體光場智能成像方法，其特征在于，所述輸出最終電學計算結果，包括：

最后一級的輸出形式由待完成的任務而定，其中，對于n個目標種類的分類任務，通過微調光學結構，將所述光學計算結果匯聚到n個像素點處后接收，或者在傳感器端進行平均池化或最大池化操作，將輸出化為n個數值的形式，若第i個取值最大，光電計算系統的分類結果為i；對于回歸類型的任務，所述最后一級的輸出為二維圖像的形式。

8.一種光電感算一體光場智能成像裝置，其特征在于，包括：

光學計算模塊，用于待成像場景或物體的光信號，經過光學計算模塊，得到光學計算結果；所述光學計算結果為所述待成像場景或物體的光場成像；

電學計算模塊，用于獲取所述光學計算結果，通過電學計算操作對所述光學計算結果進行計算，得到電學計算結果；

判斷模塊，用于根據所述電學計算結果，判斷是否需要級聯，如果需要，則將上一級電學計算結果作為下一級光學計算模塊的輸入，形成級聯結構；如果不需要，則輸出最終電學計算結果；

定義所述光學計算結果為 f_opt(x,y)，所述電學計算操作的輸出為：

f_elec(x,y)=H{kf_opt(x,y)+b}

其中，k和b在完整實數域上取值，為待優化參數，H為一種固定的非線性運算；

所述電學計算模塊，還用于輸入光信號經過光學卷積模塊后到達傳感器，所述傳感器將光信號轉變為電信號，通過設計好的模擬電路改變電信號的取值完成電學運算，得到所述電學計算結果。