[發明專利]用于神經網絡的訓練或預測的系統和方法

有效

• 申請號: 202110729600.1
• 申請日: 2021-06-29
• 公開（公告）號: CN113869487B
• 公開（公告）日: 2023-10-27
• 發明（設計）人: 伊萊·戴維;伊立·魯賓
• 申請（專利權）人: 納米尺寸技術領域股份有限公司
• 主分類號: G06N3/048
• 分類號: G06N3/048;G06N3/0464;G06N3/08
• 代理公司: 北京市君合律師事務所 11517
• 代理人: 王昭林;王再芊

1.一種用于神經網絡的訓練或預測的方法，所述方法包括：

存儲所述神經網絡中的多個突觸或過濾器中的每個突觸或過濾器的當前值；

在過去的一次或多次迭代期間，針對一個或多個所述突觸或過濾器中的每個單獨的突觸或過濾器、或者突觸或過濾器的每個組獨立地確定歷史活動度量；

迭代地執行所述神經網絡的多次部分激活，其中，每次部分激活迭代激活所述神經網絡中的多個所述突觸或過濾器的子集，并且其中，每個單獨的所述突觸或過濾器、或者所述突觸或過濾器的每個組在總部分激活迭代次數的一部分中被激活，所述一部分與針對單獨的所述突觸或過濾器、或者所述突觸或過濾器的組而獨立地確定的所述歷史活動度量成比例；并且

基于所述神經網絡的所述多次部分激活來執行所述神經網絡的訓練或預測。

2.根據權利要求1所述的方法，其中，所述歷史活動度量從由以下各項組成的組中選擇出：在所述過去的一次或多次迭代中激活每個單獨的所述突觸或過濾器、或者所述突觸或過濾器的每個組的頻率，在所述過去的一次或多次迭代中的所述突觸或過濾器的權重的幅值，在過去的一次或多次糾錯迭代中的所述突觸或過濾器的權重的變化的幅值，頻率的測量值、權重的幅值的測量值、權重的變化的幅值的測量值中任一項的平均中值或標準偏差，以及從任意上述測量值或上述測量值的組合導出的值。

3.根據權利要求1所述的方法，包括周期性地、或在每次迭代時、或在激活單獨的所述突觸或過濾器、或者所述突觸或過濾器的組時，動態地更新所述歷史活動度量。

4.根據權利要求3所述的方法，包括顯示熱力圖的運動圖像，所述運動圖像包括幀序列，所述幀序列使在一次或多次相應迭代的序列上經動態更新的所述歷史活動度量可視化。

5.根據權利要求1所述的方法，包括在訓練期間，執行多次后向傳遞糾錯迭代，以校正所激活的每個單獨的所述突觸或過濾器、或者所述突觸或過濾器的每個組。

6.根據權利要求1所述的方法，包括在訓練或預測期間：

執行多次前向傳遞推理迭代以分別生成多個局部輸出，其中，每個單獨的所述突觸或過濾器、或者所述突觸或過濾器的每個組在總推理迭代次數的一部分中計算；并且

聚集所述多個局部輸出以生成聚集輸出，所述聚集輸出近似于通過執行所述神經網絡的所有所述突觸或過濾器的單個實例以完全激活所述神經網絡而生成的輸出。

7.根據權利要求6所述的方法，其中，在多次推理迭代中激活的所述突觸或過濾器僅累積地跨越所述神經網絡的所有所述突觸或過濾器的一子集，使得多個剩余的所述突觸或過濾器不激活。

8.根據權利要求1所述的方法，包括基于到所述神經網絡的輸入來確定待激活的多個所述突觸或過濾器的所述子集。

9.根據權利要求1所述的方法，其中，激活從由以下各項組成的組中選出的離散組中的所述突觸或過濾器：形成將所述突觸或過濾器的連續序列從輸入層鏈接到輸出層的神經網絡通路的所述突觸或過濾器的序列、各自直接連接到神經元的突觸的組、以及各自直接連接到在卷積神經網絡中的神經元的組的過濾器的組。

10.根據權利要求1所述的方法，包括針對不同的迭代、層、過濾器、通道或操作模式，執行部分激活所述神經網絡與完全激活所述神經網絡的混合組合。

11.根據權利要求10所述的方法，所述方法包括根據預定調度在部分激活所述神經網絡與完全激活所述神經網絡之間交替。

12.根據權利要求10所述的方法，所述方法包括當誤差或準確度的測量值越過閾值時，在部分激活所述神經網絡與完全激活所述神經網絡之間進行切換。

13.根據權利要求1所述的方法，包括對于大于閾值時間或閾值迭代次數而沒有活動的單獨的所述突觸或過濾器、或者所述突觸或過濾器的組，進行再激活。