[發(fā)明專利]光學(xué)處理系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201980043334.8
• 申請日: 2019-04-26
• 公開（公告）號: CN112400175A
• 公開（公告）日: 2021-02-23
• 發(fā)明（設(shè)計(jì)）人: A·J·麥克法迪恩
• 申請（專利權(quán)）人: 奧普特里斯有限公司
• 主分類號: G06K9/46
• 分類號: G06K9/46;G06N3/067;G06K9/62
• 代理公司: 北京智信禾專利代理有限公司 11637
• 代理人: 吳肖肖

一種光學(xué)處理系統(tǒng)包括至少一個空間光調(diào)制器SLM，其被配置為同時顯示第一輸入數(shù)據(jù)模式(a)和至少一個數(shù)據(jù)聚焦模式，所述至少一個數(shù)據(jù)聚焦模式是第二輸入數(shù)據(jù)模式(b)的傅立葉域表示(B)，所述光學(xué)處理系統(tǒng)還包括檢測器，用于檢測已經(jīng)被所述輸入數(shù)據(jù)模式和聚焦數(shù)據(jù)模式連續(xù)光學(xué)處理的光，從而產(chǎn)生第一和第二輸入數(shù)據(jù)模式的光學(xué)卷積，所述光學(xué)卷積用于使用在神經(jīng)網(wǎng)絡(luò)中。

技術(shù)領(lǐng)域

本發(fā)明總體上涉及機(jī)器學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)。特別地，本發(fā)明涉及使用基于光學(xué)相關(guān)性的處理系統(tǒng)來加速卷積神經(jīng)網(wǎng)絡(luò)。

背景技術(shù)

卷積神經(jīng)網(wǎng)絡(luò)(CNN或ConvNet)是眾所周知的，已經(jīng)成為圖像分析中杰出的機(jī)器學(xué)習(xí)技術(shù)。它們是深度前饋型人工神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)了圖像識別和分類的最先進(jìn)性能。ConvNet的生命期通常分為訓(xùn)練和推理。但是，訓(xùn)練大型卷積網(wǎng)絡(luò)非常耗時——即使使用最先進(jìn)的圖形處理單元(GPU)，也可能需要數(shù)周的時間。在訓(xùn)練和推理階段，某些更復(fù)雜的ConvNet可能需要更長的時間來運(yùn)行。

在ConvNet中，卷積層代表著計(jì)算負(fù)荷中非常顯著的部分——通常為多數(shù)部分。此外，增加卷積的分辨率(resolution)(增加輸入大小或內(nèi)核大小)會帶來更大的計(jì)算負(fù)擔(dān)。這驅(qū)使網(wǎng)絡(luò)配置避免構(gòu)建大量高分辨率的卷積層，或者促使網(wǎng)絡(luò)配置修改卷積層以減少計(jì)算負(fù)擔(dān)。

已經(jīng)嘗試了使用例如在GPU或FPGA架構(gòu)上實(shí)現(xiàn)的各種算法，以數(shù)字方式加速ConvNet的訓(xùn)練和推理。但是，非常需要進(jìn)一步的加速。

本發(fā)明的實(shí)施例試圖針對該問題提供解決方案。

發(fā)明內(nèi)容

在第一獨(dú)立方面，提供了一種光學(xué)處理系統(tǒng)，其包括至少一個空間光調(diào)制器SLM，至少一個空間光調(diào)制器SLM被配置為同時顯示第一輸入數(shù)據(jù)模式(a)和作為第二輸入數(shù)據(jù)模式(b)的傅立葉域表示(B)的至少一個數(shù)據(jù)聚焦模式，光學(xué)處理系統(tǒng)還包括檢測器，用于檢測已被所述輸入數(shù)據(jù)模式和聚焦數(shù)據(jù)模式連續(xù)光學(xué)處理過的光，從而產(chǎn)生第一和第二輸入數(shù)據(jù)模式的光學(xué)卷積，光學(xué)卷積在神經(jīng)網(wǎng)絡(luò)中使用。

光學(xué)處理系統(tǒng)包括4f光學(xué)相關(guān)器，其中輸入數(shù)據(jù)模式(A)在相關(guān)器的輸入平面中，并且數(shù)據(jù)聚焦模式在傅立葉平面中。數(shù)據(jù)聚焦模式可以包括卷積核或?yàn)V波器。SLM對入射光具有動態(tài)調(diào)制效果。如PCT/GB2013/051778中所述，SLM可以是例如平行層，或者它們可以在同一平面中。在這樣的4f光學(xué)相關(guān)器中，來自光學(xué)輸入的光入射到所述顯示的模式上并被連續(xù)地光學(xué)處理，從而在光被檢測器捕獲之前，每個輸入數(shù)據(jù)模式和聚焦模式形成連續(xù)的光路。

數(shù)據(jù)聚焦模式被選擇為第二輸入數(shù)據(jù)模式(b)的傅立葉域表示(B)。也就是說，從第二輸入數(shù)據(jù)模式計(jì)算出濾波器，以產(chǎn)生ConvNet所需的卷積。例如，可以以數(shù)字方式計(jì)算數(shù)據(jù)聚焦模式。

神經(jīng)網(wǎng)絡(luò)可以是卷積神經(jīng)網(wǎng)絡(luò)(ConvNet)，其中光學(xué)卷積適于神經(jīng)網(wǎng)絡(luò)的卷積層。通常，第二輸入數(shù)據(jù)模式稱為“核”，第一輸入數(shù)據(jù)模式與該核進(jìn)行卷積。

重要的是，與已知的數(shù)字實(shí)現(xiàn)方式相比，光學(xué)相關(guān)器是一種更適合評估(2D)卷積的平臺。光學(xué)方法提供了比此類方法改進(jìn)的性能。

在一些實(shí)施例中，第一輸入數(shù)據(jù)模式(a)包括多個(N個)分塊輸入數(shù)據(jù)模式——或“特征圖”——多個圖塊輸入數(shù)據(jù)模式中的每一個對應(yīng)于被處理的一“批”圖像中的成員，并且其中對于多個圖塊輸入數(shù)據(jù)模式中的每一個并行地產(chǎn)生多個卷積。在一些實(shí)施例中，第二輸入數(shù)據(jù)模式包括多個(M個)分塊核數(shù)據(jù)模式，多個分塊核數(shù)據(jù)模式中的每一個對應(yīng)于一組濾波核(b)中的不同成員，并且其中對于由所述分塊輸入數(shù)據(jù)模式和分塊核數(shù)據(jù)模式形成的每對(N×M)并行地產(chǎn)生多個卷積。