[發(fā)明專利]一種基于正負(fù)分離的實(shí)數(shù)域光學(xué)神經(jīng)網(wǎng)絡(luò)的模式識別方法

有效

• 申請?zhí)枺?/td>: 202110498625.5
• 申請日: 2021-05-08
• 公開（公告）號: CN113033797B
• 公開（公告）日: 2022-04-12
• 發(fā)明（設(shè)計(jì)）人: 肖瑤;唐泳;彭析竹;唐鶴
• 申請（專利權(quán)）人: 電子科技大學(xué)
• 主分類號: G06N3/067
• 分類號: G06N3/067;G06N3/04;G06N3/08
• 代理公司: 成都點(diǎn)睛專利代理事務(wù)所(普通合伙) 51232
• 代理人: 孫一峰

本發(fā)明屬于人工智能技術(shù)領(lǐng)域，具體的說是涉及一種基于正負(fù)分離的實(shí)數(shù)域光學(xué)神經(jīng)網(wǎng)絡(luò)的模式識別方法。本發(fā)明提供了一種基于正負(fù)分離的實(shí)數(shù)域光學(xué)神經(jīng)網(wǎng)絡(luò)的模式識別方法，可以還原光電轉(zhuǎn)換時(shí)丟失的輸出正負(fù)信息，從而實(shí)現(xiàn)實(shí)數(shù)域矩陣向量乘法計(jì)算，同時(shí)本發(fā)明還提出了對應(yīng)光學(xué)神經(jīng)網(wǎng)絡(luò)的硬件實(shí)現(xiàn)方式。本發(fā)明的有益效果是：(1)采用正負(fù)分離方法，還原在光電轉(zhuǎn)換階段丟失的光學(xué)神經(jīng)網(wǎng)絡(luò)輸出信號的正負(fù)信息，實(shí)現(xiàn)實(shí)數(shù)域權(quán)重矩陣的光學(xué)神經(jīng)網(wǎng)絡(luò)。(2)提供了光學(xué)神經(jīng)網(wǎng)絡(luò)中ReLU\Leaky ReLUs激活函數(shù)的實(shí)現(xiàn)方法。

技術(shù)領(lǐng)域

本發(fā)明屬于人工智能技術(shù)領(lǐng)域，具體的說是涉及一種基于正負(fù)分離的實(shí)數(shù)域光學(xué)神經(jīng)網(wǎng)絡(luò)的模式識別方法。

背景技術(shù)

人工智能、神經(jīng)網(wǎng)絡(luò)需要大量計(jì)算資源，需要硬件加速器，在電學(xué)領(lǐng)域ASIC和GPU等已被廣泛應(yīng)用，但是集成電路工藝遇到瓶頸。光學(xué)有高并行、低功耗、高速等特性，是未來發(fā)展趨勢。

神經(jīng)網(wǎng)絡(luò)由矩陣向量乘法計(jì)算與非線性計(jì)算兩個(gè)部分組成，光計(jì)算由于人工智能和神經(jīng)網(wǎng)絡(luò)的發(fā)展，國際上已經(jīng)有部分研究機(jī)構(gòu)和公司已經(jīng)開始研究光學(xué)的方法實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)。例如，加州大學(xué)的科學(xué)家在Science上發(fā)表了論文【X,Lin et al.,Science.361,6406,1004-1008(2018)】，采用3D打印技術(shù)制造衍射光學(xué)元件堆疊層，利用層間衍射的方法實(shí)現(xiàn)矩陣向量乘法，設(shè)備體積大，不可重配置。麻省理工學(xué)院的科學(xué)家在Nature上發(fā)表了論文【Shen,Y et al.,Nature Photonics.11,441–446(2017)】，構(gòu)建了56個(gè)MZI級聯(lián)網(wǎng)絡(luò)，利用光的干涉特性實(shí)現(xiàn)并行光計(jì)算。但現(xiàn)有光學(xué)神經(jīng)網(wǎng)絡(luò)多僅利用光電探測器進(jìn)行信號的功率探測，只能實(shí)現(xiàn)非負(fù)計(jì)算。同時(shí)，相位探測硬件復(fù)雜，實(shí)現(xiàn)困難。

另外，非線性激活是神經(jīng)網(wǎng)絡(luò)必不可少的部分，因?yàn)槿鄙俜蔷€性激活的深度神經(jīng)網(wǎng)絡(luò)實(shí)際上可以等效為單層神經(jīng)網(wǎng)絡(luò)。Sigmoid、Tanh和ReLU等函數(shù)是神經(jīng)網(wǎng)絡(luò)中最常用的非線性激活函數(shù)。目前在光神經(jīng)網(wǎng)絡(luò)應(yīng)用中非線性激活方法有通過光電探測器光電轉(zhuǎn)換后在傳統(tǒng)硅電數(shù)字處理電路中進(jìn)行非線性計(jì)算。已有研究【Shen,Y et al.,NaturePhotonics.11,441–446(2017)】采用非線性光學(xué)材料，例如非飽和吸收材料，但是不可重構(gòu)的。另外，斯坦福大學(xué)的科學(xué)家提出【W(wǎng)illiamson,I et al.,IEEE Journal of SelectedTopics in Quantum Electronics.26,1-12(2020)】利用一小部分輸入光信號轉(zhuǎn)換為模擬電信號的電光硬件平臺，使得光學(xué)神經(jīng)網(wǎng)絡(luò)的非線性激活函數(shù)可以通過調(diào)整電偏置進(jìn)行重新配置，但是缺少相位探測而只能實(shí)現(xiàn)奇函數(shù)的非線性激活，無法進(jìn)行例如ReLU、ELUs等常用激活函數(shù)操作。

發(fā)明內(nèi)容

針對上述問題，本發(fā)明提出了一種改進(jìn)的基于馬赫-曾德爾干涉儀(Mach–Zehnderinterferometer，MZI)的光學(xué)神經(jīng)網(wǎng)絡(luò)——正負(fù)分離的光學(xué)神經(jīng)網(wǎng)絡(luò)的模式識別方法，是一種可以實(shí)現(xiàn)實(shí)數(shù)域權(quán)重和ReLU\Leaky ReLUs的光學(xué)神經(jīng)網(wǎng)絡(luò)模式識別方法。

本發(fā)明的技術(shù)方案是：

一種基于正負(fù)分離的實(shí)數(shù)域光學(xué)神經(jīng)網(wǎng)絡(luò)的模式識別方法，包括以下步驟：

S1、樣本共有N種模式P＝{p₁,p₂,..,p_N}，每個(gè)樣本具有M個(gè)參數(shù)X＝{x₁,x₂,...,x_M}，選取K個(gè)樣本作為訓(xùn)練集{s₁,s₂,...,s_K}，假設(shè)樣本s_i屬于p_j模式，定義樣本S_i的標(biāo)簽為T＝{t₁,t₂,..,t_N}，其中t_n|_n＝j(luò)＝1，t_n|_n≠j＝0；