[發明專利]對計算機實現的神經網絡的高效的二階剪枝

在審

• 申請號: 202210846199.4
• 申請日: 2022-07-19
• 公開（公告）號: CN115906990A
• 公開（公告）日: 2023-04-04
• 發明（設計）人: M·農嫩馬赫;D·里布;T·普菲爾
• 申請（專利權）人: 羅伯特·博世有限公司
• 主分類號: G06N3/082
• 分類號: G06N3/082;G06N3/063
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 孫云漢;劉春元

1.一種用于生成簡化的計算機實現的神經網絡的方法，其中所述方法包括如下步驟：

接收（100）指定的神經網絡（1），所述指定的神經網絡包括多個神經網絡結構?（）并且通過多個權重（7a、7b；）來被描述，其中來自所述多個神經網絡結構中的每個神經網絡結構都分配有剪枝向量（δ_p），所述剪枝向量描述了由于對相應神經網絡結構的剪枝而引起的所述多個權重的變化；

計算（200）矩陣（）與結構向量（）的乘積（)），其中所述矩陣包括關于所述多個權重的損失函數（）的二階偏導數，其中屬于所述多個神經網絡結構中的兩個或更多個所要剪枝的神經網絡結構的所述多個權重中的每個權重都對應于所述結構向量（）的相應分量；

確定（300）在所述損失函數中的與所述指定的神經網絡有關的兩個或更多個變化（），其中所述兩個或更多個變化中的每個變化都會作為對來自所述兩個或更多個所要剪枝的神經網絡結構中的相對應的神經網絡結構的剪枝的結果而發生，其中在使用所計算出的乘積、相應的剪枝向量和所述指定的神經網絡的當前的多個權重（）的情況下，確定在所述損失函數中的所述兩個或更多個變化；

基于所述損失函數的所確定的兩個或更多個變化，對所述多個神經網絡結構中的至少一個神經網絡結構進行剪枝（400），以便生成簡化的神經網絡（1a）。

2.根據權利要求1所述的方法，其中相對應的所要剪枝的神經網絡結構的每個剪枝向量（δ_p）都包括所述多個權重（）中的屬于相對應的所要剪枝的網絡結構的權重，作為分量（7a、7b），其中所述剪枝向量的對應于不屬于相對應的所要剪枝的網絡結構的相對應的其它分量（7c）被設置到零。

3.根據權利要求1或2所述的方法，其中所述矩陣是黑塞矩陣（），所述黑塞矩陣包含關于所述多個權重的損失函數（）的二階偏導數，而且其中所述乘積（)）是所述黑塞矩陣與所述結構向量（）的黑塞向量積。

4.根據上述權利要求1至3中任一項所述的方法，其中確定在所述損失函數中的所述兩個或更多個變化中的會作為對來自所述兩個或更多個所要剪枝的神經網絡結構中的相應的神經網絡結構的剪枝的結果而發生的相應變化包括：通過計算被分配給相應的神經網絡結構的剪枝向量（δ_p）與所計算出的乘積（)）的點積（)）來計算（310）相應的第一貢獻，而且其中然后將所述指定的神經網絡的當前的多個權重代入到所述第一貢獻中。

5.根據上述權利要求1至4中任一項所述的方法，其中對在所述損失函數中的兩個或更多個變化的確定還在使用梯度（）、相應的兩個或更多個剪枝向量（δ_p）和所述指定的神經網絡的當前的多個權重（）的情況下被執行，其中所述梯度（）包括所述損失函數對其權重的一階導數。

6.根據權利要求5所述的方法，其中確定在所述損失函數中的所述兩個或更多個變化中的會作為對來自所述兩個或更多個所要剪枝的神經網絡結構中的相應的神經網絡結構的剪枝的結果而發生的相應變化包括：通過計算被分配給相應的神經網絡結構的剪枝向量（δ_p）與所述梯度（）的點積來計算（320）相應的第二貢獻，而且其中然后將所述指定的神經網絡的當前的多個權重代入到所述第二貢獻中，可選地其中對來自在所述損失函數中的所述兩個或更多個變化中的每個變化的確定包括：計算相應的第二貢獻。