[發(fā)明專利]COLD神經(jīng)元尖峰定時反向傳播

在審

• 申請?zhí)枺?/td>: 201580015733.5
• 申請日: 2015-03-18
• 公開（公告）號: CN107077636A
• 公開（公告）日: 2017-08-18
• 發(fā)明（設計）人: D·J·朱里安;S·S·塔拉迪
• 申請（專利權）人: 高通股份有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 上海專利商標事務所有限公司31100
• 代理人: 李小芳

相關申請的交叉引用

本申請依據(jù)35U.S.C.§119(e)要求于2014年3月24日提交的題為“COLD NEURON SPIKE TIMING BACK PROPAGATION(COLD神經(jīng)元尖峰定時反向傳播)”的美國臨時專利申請No.61/969,752的權益，其公開內(nèi)容通過援引全部明確納入于此。

背景

領域

本公開的某些方面一般涉及神經(jīng)系統(tǒng)工程設計，且尤其涉及神經(jīng)網(wǎng)絡中的反向傳播。

背景技術

可包括一群互連的人工神經(jīng)元(即神經(jīng)元模型)的人工神經(jīng)網(wǎng)絡是一種計算設備或者表示將由計算設備執(zhí)行的方法。人工神經(jīng)網(wǎng)絡可具有生物學神經(jīng)網(wǎng)絡中的對應的結構和/或功能。然而，人工神經(jīng)網(wǎng)絡可為其中傳統(tǒng)計算技術是麻煩的、不切實際的、或不勝任的某些應用提供創(chuàng)新且有用的計算技術。由于人工神經(jīng)網(wǎng)絡能從觀察中推斷出功能，因此這樣的網(wǎng)絡在因任務或數(shù)據(jù)的復雜度使得通過常規(guī)技術來設計該功能較為麻煩的應用中是特別有用的。

訓練神經(jīng)網(wǎng)絡可包括“逆向”訓練，其中通過操縱輸入來操縱輸出。此訓練方法對于歸類以及對于其中前向傳播可能有誤差的實例是有用的。通過在神經(jīng)網(wǎng)絡中將誤差從輸出傳播至輸入，網(wǎng)絡可學習分類和/或標識該網(wǎng)絡內(nèi)的群或其他共有特征。此類“誤差的后向傳播”被稱為“反向傳播”。由此，期望提供能納入反向傳播的神經(jīng)元形態(tài)接收器。

概述

根據(jù)本公開一方面的一種方法包括通過尖峰發(fā)放模型以基于映射的更新和至少一個復位機制來計算神經(jīng)元狀態(tài)更新。該方法進一步包括使用對尖峰時間的反向傳播來計算權重更新。

根據(jù)本公開另一方面的一種在尖峰神經(jīng)網(wǎng)絡中執(zhí)行反向傳播的設備包括用于通過尖峰發(fā)放模型以基于映射的更新和至少一個復位機制來計算神經(jīng)元狀態(tài)更新的裝置。此類設備還包括用于使用對尖峰時間的反向傳播來計算權重更新的裝置。

根據(jù)本公開另一方面的一種用于在尖峰神經(jīng)網(wǎng)絡中執(zhí)行反向傳播的計算機程序產(chǎn)品包括其上編碼有程序代碼的非瞬態(tài)計算機可讀介質。這些程序代碼包括用于通過尖峰發(fā)放模型以基于映射的更新和至少一個復位機制來計算神經(jīng)元狀態(tài)更新的程序代碼。這些程序代碼進一步包括用于使用對尖峰時間的反向傳播來計算權重更新的程序代碼。

根據(jù)本公開另一方面的一種用于在尖峰神經(jīng)網(wǎng)絡中執(zhí)行反向傳播的裝置包括存儲器和耦合到該存儲器的至少一個處理器。該(些)處理器被配置成通過尖峰發(fā)放模型以基于映射的更新和至少一個復位機制來計算神經(jīng)元狀態(tài)更新。該(些)處理器還被配置成使用對尖峰時間的反向傳播來計算權重更新。

這已較寬泛地勾勒出本公開的特征和技術優(yōu)勢以便下面的詳細描述可以被更好地理解。本公開的其他特征和優(yōu)點將在下文描述。本領域技術人員應該領會，本公開可容易地被用作修改或設計用于實施與本公開相同的目的的其他結構的基礎。本領域技術人員還應認識到，這樣的等效構造并不脫離所附權利要求中所闡述的本公開的教導。被認為是本公開的特性的新穎特征在其組織和操作方法兩方面連同進一步的目的和優(yōu)點在結合附圖來考慮以下描述時將被更好地理解。然而，要清楚理解的是，提供每一幅附圖均僅用于解說和描述目的，且無意作為對本公開的限定的定義。

附圖簡述

在結合附圖理解下面闡述的詳細描述時，本公開的特征、本質和優(yōu)點將變得更加明顯，在附圖中，相同附圖標記始終作相應標識。

圖1解說根據(jù)本公開的某些方面的示例神經(jīng)元網(wǎng)絡。

圖2解說根據(jù)本公開的某些方面的計算網(wǎng)絡(神經(jīng)系統(tǒng)或神經(jīng)網(wǎng)絡)的處理單元(神經(jīng)元)的示例。

圖3解說根據(jù)本公開的某些方面的尖峰定時依賴可塑性(STDP)曲線的示例。

圖4A解說根據(jù)本公開的某些方面的用于定義神經(jīng)元模型的行為的正態(tài)相和負態(tài)相的示例。

圖4B解說根據(jù)本公開的一方面的尖峰時序圖。

圖5解說根據(jù)本公開的某些方面的使用通用處理器來設計神經(jīng)網(wǎng)絡的示例實現(xiàn)。

圖6解說根據(jù)本公開的某些方面的設計其中存儲器可以與個體分布式處理單元對接的神經(jīng)網(wǎng)絡的示例實現(xiàn)。

圖7解說根據(jù)本公開的某些方面的基于分布式存儲器和分布式處理單元來設計神經(jīng)網(wǎng)絡的示例實現(xiàn)。

圖8解說根據(jù)本公開的某些方面的神經(jīng)網(wǎng)絡的示例實現(xiàn)。

圖9是解說根據(jù)本公開的一方面的反向傳播的框圖。

詳細描述