[發明專利]光電感算一體光場智能成像方法及裝置

有效

• 申請號: 202111168889.0
• 申請日: 2021-10-08
• 公開（公告）號: CN113630517B
• 公開（公告）日: 2022-01-25
• 發明（設計）人: 方璐;王勇;袁肖赟;周天貺;戴瓊海
• 申請（專利權）人: 清華大學
• 主分類號: H04N5/14
• 分類號: H04N5/14;G06N3/04;G06N3/08
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 羅嵐

本申請提出一種光電感算一體光場智能成像方法和裝置，其中，方法包括：待成像場景或物體的光信號，經過光學計算模塊，得到光學計算結果；光學計算結果為待成像場景或物體的光場成像；獲取光學計算結果，通過電學計算操作對光學計算結果進行計算，得到電學計算結果；根據電學計算結果，判斷是否需要級聯，如果需要，則將上一級電學計算結果作為下一級光學計算模塊的輸入，形成級聯結構；如果不需要，則輸出最終結果。本發明利用來自待成像物體或場景的光進行光計算，并通過設計模擬電路實現簡單的電計算，不需要額外的模數轉換和存儲環節，避免了光電轉換過程造成的信息損失，從而能夠以感算一體的方式高效低功耗地完成不同類型的計算機視覺任務。

技術領域

本發明涉及光場視覺處理技術領域，特別涉及一種光電感算一體光場智能成像方法及裝置。

背景技術

近年來，深度神經網絡的發展為光場視覺處理領域帶來了很大的進步，已在很多任務中落地，如光場圖像識別、對象分割等。在實際系統中，為了運行基于深度神經網絡的人工智能算法，需要特定的硬件設備，如圖形處理器（GPU）、嵌入式神經網絡處理器（NPU）和FPGA等，但這些設備都面臨著以下的問題。1）比如，GPU的高能耗高帶寬使得其不合適部署在邊緣計算智能終端（如商用相機、自動駕駛汽車）上；2）對于NPU、FPGA等嵌入式設備硬件，設備算力和功耗都受到固有的限制，無法滿足諸如自動駕駛、實時監控等需要大量計算資源和較高計算功耗的實時視覺任務；3）摩爾定律失效，傳統硅基計算芯片算力發展變緩，難以跟上人工智能算法的需求。針對這一問題，研究人員提出利用光來實現神經網絡的計算，也稱為光計算。當前較主流的一些方案包括，利用相干光在自由空間或波導中的傳播模擬人工神經網絡（ANN），如深度衍射神經網絡（D2NN）、波導芯片等；利用光脈沖致相變材料晶態的改變模擬卷積神經網絡（CNN）和脈沖神經網絡（SNN）等。光計算可以克服目前主流電子計算的固有局限性，具有高速度、高并行性、高計算吞吐量、低能耗等優勢，通過光計算實現神經網絡算法成為了當前國際上的一個研究熱點。此外，光計算可以直接利用待成像物體或場景發出的光信號來進行計算，因而可避免現有感算分離方案中圖像傳感器的光電轉換和模數轉換造成的有效信息丟失與處理速度受限的缺陷。

神經網絡中的非線性運算對提升網絡的性能至關重要，而目前基于純光學實現非線性運算的技術還不成熟，所以將光計算和電子計算結合起來是當前技術體系下的主流操作，稱為光電計算。在光電計算中，光計算與電計算優勢互補，大部分計算內容由光計算承擔，電計算完成目前光學技術難以實現的操作，從而在性能提升和實現難度之間進行了折衷。

目前的光電計算主要有基于波導技術和空間光傳播兩種途徑。基于波導的技術中，可通過56個馬赫-曾德爾干涉儀（Mach–Zehnder interferometer）的級聯陣列完成4種元音聲波信號的分類，或基于相變材料在光照下從晶態切換為非晶態的特性實現簡單的脈沖神經網絡。

基于空間光傳播的方法中，光被不同種類的元器件調制，如薄透鏡、相位掩膜、空間光調制器等，以完成不同種類的運算。空間光方法中較為重要的一類方法為深度衍射神經網絡，其中相干光（激光）在空間中自由傳播衍射一段距離后通過一相位掩膜（phasemask），各點的相位會產生不同的延遲，然后再自由傳播衍射一段距離，以此類推。深度衍射神經網絡中的各層相位掩膜參數可通過物理仿真優化得出，從而完成特定的人工智能任務，如手寫數字分類，簡單圖片分類等。深度衍射神經網絡是純光學計算，可搭配簡單的電學計算和光電轉換的物理過程中固有的平方非線性關系形成更高級的光電計算方案，從而提升分類準確率。