[發(fā)明專利]具有深度時(shí)間劃窗的神經(jīng)元信息處理方法和系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201710041894.2
• 申請(qǐng)日: 2017-01-20
• 公開(kāi)（公告）號(hào): CN106897769A
• 公開(kāi)（公告）日: 2017-06-27
• 發(fā)明（設(shè)計(jì)）人: 裴京;鄧?yán)?/a>;施路平;吳臻志;李國(guó)齊
• 申請(qǐng)（專利權(quán)）人: 清華大學(xué)
• 主分類號(hào): G06N3/04
• 分類號(hào): G06N3/04;G06N3/06
• 代理公司: 北京華進(jìn)京聯(lián)知識(shí)產(chǎn)權(quán)代理有限公司11606
• 代理人: 王程

技術(shù)領(lǐng)域

本發(fā)明涉及人工神經(jīng)網(wǎng)絡(luò)技術(shù)領(lǐng)域，特別是涉及具有深度時(shí)間劃窗的神經(jīng)元信息處理方法和系統(tǒng)。

背景技術(shù)

如今的人工神經(jīng)網(wǎng)絡(luò)研究絕大多數(shù)仍是在馮·諾依曼計(jì)算機(jī)軟件并搭配高性能GPGPU(General Purpose Graphic Processing Units通用圖形處理單元)平臺(tái)中實(shí)現(xiàn)的，整個(gè)過(guò)程的硬件開(kāi)銷、能耗和信息處理速度都不容樂(lè)觀。為此，近幾年神經(jīng)形態(tài)計(jì)算領(lǐng)域迅猛發(fā)展，即采用硬件電路直接構(gòu)建神經(jīng)網(wǎng)絡(luò)從而模擬大腦的功能，試圖實(shí)現(xiàn)大規(guī)模并行、低能耗、可支撐復(fù)雜模式學(xué)習(xí)的計(jì)算平臺(tái)。

然而，傳統(tǒng)的脈沖神經(jīng)元信息處理方法中，當(dāng)前脈沖神經(jīng)元的輸出信息只能在下一個(gè)時(shí)間步影響到其后端連接的脈沖神經(jīng)元，忽略了生物神經(jīng)元間的時(shí)間域深度效應(yīng)。

發(fā)明內(nèi)容

基于此，有必要針對(duì)當(dāng)前脈沖神經(jīng)元的輸出信息只能在下一個(gè)時(shí)間步影響到其后端連接的脈沖神經(jīng)元，忽略了生物神經(jīng)元間的時(shí)間域深度效應(yīng)的問(wèn)題，提供一種具有深度時(shí)間劃窗的神經(jīng)元信息處理方法和系統(tǒng)，其中，所述方法包括：

接收前端脈沖神經(jīng)元輸出信息，所述前端脈沖神經(jīng)元輸出信息包括前端脈沖神經(jīng)元輸出的脈沖尖端信息；

讀取第一當(dāng)前脈沖神經(jīng)元信息，所述第一當(dāng)前脈沖神經(jīng)元信息包括當(dāng)前時(shí)間窗內(nèi)脈沖尖端信息歷史序列；

根據(jù)所述前端脈沖神經(jīng)元輸出的脈沖尖端信息，和所述當(dāng)前時(shí)間窗內(nèi)脈沖尖端信息歷史序列，獲取當(dāng)前時(shí)間窗內(nèi)脈沖尖端信息更新序列根據(jù)所述當(dāng)前時(shí)間窗內(nèi)脈沖尖端信息更新序列，確定第二當(dāng)前脈沖神經(jīng)元信息；

根據(jù)所述前端脈沖神經(jīng)元信息和所述第二當(dāng)前脈沖神經(jīng)元信息，計(jì)算當(dāng)前脈沖神經(jīng)元輸出信息；

輸出所述當(dāng)前脈沖神經(jīng)元輸出信息。

在其中一個(gè)實(shí)施例中，所述當(dāng)前時(shí)間窗內(nèi)脈沖尖端信息歷史序列，包括：按時(shí)間步順序存儲(chǔ)的，當(dāng)前時(shí)間步前的N個(gè)時(shí)間步接收的各前端脈沖神經(jīng)元輸出信息組成的序列，其中，所述當(dāng)前時(shí)間窗內(nèi)脈沖尖端信息歷史序列中的第一個(gè)時(shí)間步的脈沖尖端信息，為當(dāng)前時(shí)間步前的第一個(gè)時(shí)間步接收的前端脈沖神經(jīng)元輸出信息，所述當(dāng)前時(shí)間窗內(nèi)脈沖尖端信息歷史序列中的第N個(gè)時(shí)間步的脈沖尖端信息，為當(dāng)前時(shí)間步前的第N個(gè)時(shí)間步接收的前端脈沖神經(jīng)元輸出信息，其中N為自然數(shù)；

則所述根據(jù)所述前端脈沖神經(jīng)元輸出信息，和所述當(dāng)前時(shí)間窗內(nèi)脈沖尖端信息歷史序列，獲取當(dāng)前時(shí)間窗內(nèi)脈沖尖端信息更新序列，包括：

將所述當(dāng)前時(shí)間窗內(nèi)脈沖尖端信息歷史序列中的第N個(gè)時(shí)間步的脈沖尖端信息刪除，將第一個(gè)時(shí)間步至第N-1個(gè)時(shí)間步的脈沖尖端信息，順序變更為第二個(gè)時(shí)間步至第N個(gè)時(shí)間步的脈沖尖端信息；

將當(dāng)前時(shí)間步接收的所述前端脈沖神經(jīng)元輸出信息，設(shè)置為所述當(dāng)前時(shí)間窗內(nèi)脈沖尖端信息歷史序列中第一個(gè)時(shí)間步的脈沖尖端信息；

將更新后的第一個(gè)時(shí)間步至第N個(gè)時(shí)間步的脈沖尖端信息，組成當(dāng)前時(shí)間窗內(nèi)脈沖尖端信息更新序列。

在其中一個(gè)實(shí)施例中，所述前端脈沖神經(jīng)元輸出信息，還包括：前端神經(jīng)元與當(dāng)前神經(jīng)元的連接權(quán)重索引；

所述當(dāng)前脈沖神經(jīng)元信息，還包括：當(dāng)前時(shí)間窗寬度、歷史膜電位信息和膜電位泄漏信息；

所述根據(jù)所述前端脈沖神經(jīng)元信息和所述第二當(dāng)前脈沖神經(jīng)元信息，計(jì)算當(dāng)前脈沖神經(jīng)元輸出信息，包括：

根據(jù)所述前端神經(jīng)元與當(dāng)前神經(jīng)元的連接權(quán)重索引，讀取前端神經(jīng)元與當(dāng)前神經(jīng)元的連接權(quán)重；

根據(jù)所述當(dāng)前時(shí)間窗寬度、所述當(dāng)前時(shí)間窗內(nèi)脈沖尖端信息更新序列，通過(guò)衰減函數(shù)計(jì)算前端脈沖神經(jīng)元輸入信息；

根據(jù)所述前端脈沖神經(jīng)元輸入信息、所述前端脈沖神經(jīng)元與當(dāng)前脈沖神經(jīng)元的連接權(quán)重、所述歷史膜電位信息、所述膜電位泄漏信息，通過(guò)脈沖神經(jīng)元計(jì)算模型，計(jì)算當(dāng)前脈沖神經(jīng)元輸出信息。

在其中一個(gè)實(shí)施例中，在所述根據(jù)所述前端脈沖神經(jīng)元信息和所述第二當(dāng)前脈沖神經(jīng)元信息，計(jì)算當(dāng)前脈沖神經(jīng)元輸出信息的步驟之后在，在所述輸出所述當(dāng)前脈沖神經(jīng)元輸出信息的步驟之前，所述方法還包括：

獲取閾值電位；

將所述當(dāng)前脈沖神經(jīng)元輸出信息和所述閾值電位進(jìn)行比較，根據(jù)比較結(jié)果確定發(fā)放觸發(fā)標(biāo)志信息，所述發(fā)放觸發(fā)標(biāo)志信息包括：發(fā)放觸發(fā)或發(fā)放不觸發(fā)；當(dāng)所述發(fā)放觸發(fā)標(biāo)志信息為發(fā)放觸發(fā)時(shí)，

復(fù)位不應(yīng)期計(jì)時(shí)器，并更新所述歷史膜電位信息為預(yù)設(shè)的復(fù)位膜電位信息。

在其中一個(gè)實(shí)施例中，還包括：

當(dāng)所述發(fā)放觸發(fā)標(biāo)志信息為發(fā)放不觸發(fā)時(shí)，讀取不應(yīng)期寬度和不應(yīng)期計(jì)時(shí)器的當(dāng)前時(shí)間步；