[發明專利]對計算機實現的神經網絡的高效的二階剪枝

在審

• 申請號: 202210846199.4
• 申請日: 2022-07-19
• 公開（公告）號: CN115906990A
• 公開（公告）日: 2023-04-04
• 發明（設計）人: M·農嫩馬赫;D·里布;T·普菲爾
• 申請（專利權）人: 羅伯特·博世有限公司
• 主分類號: G06N3/082
• 分類號: G06N3/082;G06N3/063
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 孫云漢;劉春元

本公開涉及用于生成簡化的計算機實現的神經網絡的方法。方法包括：接收指定的神經網絡，其包括多個神經網絡結構且通過多個權重來被描述。每個神經網絡結構都分配有描述了由于對相應神經網絡結構的剪枝而引起的多個權重的變化的剪枝向量。計算矩陣與結構向量的乘積，該矩陣包括關于所述多個權重的損失函數的二階偏導數，其中每個權重都對應于結構向量的相應分量。確定在損失函數中的與指定的神經網絡有關的兩個或更多個變化，每個變化都會作為對相對應的神經網絡結構的剪枝的結果而發生。在使用乘積、剪枝向量和指定的神經網絡的當前的多個權重的情況下確定所述兩個或更多個變化。基于其來對至少一個神經網絡結構進行剪枝，以生成簡化的神經網絡。

技術領域

本發明涉及用于從指定的神經網絡生成簡化的計算機實現的神經網絡的技術。相關方面涉及一種計算機程序和一種計算機實現的系統。

背景技術

計算機實現的神經網絡越來越多地在各種技術設備中使用。在這種情況下，對于許多技術應用來說，神經網絡可具有復雜的結構（例如帶有大量神經元、層和相對應的連接）。這可能對為了應用這些神經網絡所需的硬件提出（過）高要求。因此，可能有必要在計算機實現的神經網絡的性能與其復雜性之間找到折衷。

為了解決上述問題，已開發出了所謂的剪枝方法（“pruning?methods”）。這些剪枝方法的目的一方面在于：減小神經網絡的尺寸并且簡化這些神經網絡的整體結構，但是另一方面在于保持簡化的神經網絡的良好的整體性能（或者盡可能少地妨礙該整體性能）。因此，依據這些方法所簡化的神經網絡例如可以被用于具有有限硬件資源的小型技術設備（諸如電動工具、園藝用具或家用電器等等）。在其它示例中，可能有必要減少計算機實現的神經網絡的評估時間，以便確保技術設備（例如自主機器人）的足夠快的反應。為此，也可以有利的是：簡化計算機實現的神經網絡。

然而，在現有技術的一些剪枝方法中，所使用的近似會導致通過剪枝方法所生成的神經網絡的整體性能或精度與原始神經網絡相比被降低的問題。此外，現有技術的一些剪枝方法無法預測：對多個網絡結構的剪枝由于這些網絡結構之間的可能的相關而如何影響神經網絡的其余網絡結構的整體性能：因而，在許多情況下，在不妨礙整體性能或精度的情況下對原始神經網絡中的多個網絡結構進行剪枝花費巨大。

因而，需要開發新的高效技術來為設備生成簡化的計算機實現的神經網絡，這些技術可以解決上述問題中的一些或全部。

發明內容

本公開的第一總體方面涉及一種用于生成簡化的計算機實現的神經網絡的方法。該方法包括：接收指定的神經網絡，該指定的神經網絡包括多個神經網絡結構并且通過多個權重來被描述。來自第一方面的所述多個神經網絡結構中的每個神經網絡結構都分配有剪枝向量，該剪枝向量描述了由于對相應神經網絡結構的剪枝而引起的所述多個權重的變化。該方法還包括：計算矩陣與結構向量的乘積，其中該矩陣包括關于所述多個權重的損失函數的二階偏導數，其中屬于所述多個神經網絡結構中的兩個或更多個所要剪枝的神經網絡結構的所述多個權重中的每個權重都對應于該結構向量的相應分量。在下一步驟中，第一方面的方法包括：確定在該損失函數中的與該指定的神經網絡有關的兩個或更多個變化，其中所述兩個或更多個變化中的每個變化都會作為對來自所述兩個或更多個所要剪枝的神經網絡結構中的相對應的神經網絡結構的剪枝的結果而發生。此外，在使用所計算出的乘積、相應的剪枝向量和指定的神經網絡的當前的多個權重的情況下，確定在該損失函數中的所述兩個或更多個變化。最后，該方法包括：基于該損失函數的所確定的兩個或更多個變化，對所述多個神經網絡結構中的至少一個神經網絡結構進行剪枝，以便生成簡化的神經網絡。

本公開的第二總體方面涉及一種計算機程序，該計算機程序被設立用于執行按照本公開的第一總體方面所述的計算機實現的方法。

本公開的第三總體方面涉及一種用于針對設備生成和/或應用計算機實現的神經網絡的計算機實現的系統，該系統被設計用于執行按照本公開的第一總體方面所述的計算機實現的方法。附加地或替代地，第三總體方面的計算機實現的系統被設計用于執行按照本公開的第二總體方面所述的計算機程序。