[發明專利]用于存儲高效地運行神經網絡的方法和設備

在審

• 申請號: 201910179660.3
• 申請日: 2019-03-11
• 公開（公告）號: CN110263910A
• 公開（公告）日: 2019-09-20
• 發明（設計）人: A.岡托羅;A.朗格;C.肖恩;J.托普;S.福格爾;J.希爾默
• 申請（專利權）人: 羅伯特·博世有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 臧永杰;劉春元

1.一種用于運行具有神經網絡、尤其卷積（convolutional）神經網絡的計算系統（1）的方法，其中，所述計算系統具有用于所述神經網絡的按順序的計算的計算裝置（2）和用于將在所述計算裝置（2）中的所述計算的中間結果中間存儲的相對于所述計算裝置在外部的存儲器（4），所述方法具有以下步驟：

- 借助神經網絡逐步地計算（S2，S3）數據區段，所述數據區段分別表示中間結果的組，

- 有損耗地壓縮（S5，S6，S7，S8）所述數據區段其中的一個或多個，以便獲得經壓縮的中間結果，并且

- 將所述經壓縮的中間結果傳輸（S9）給所述外部存儲器（4）。

2.根據權利要求1所述的方法，其中，為了借助于所述神經網絡進行計算，從所述外部存儲器（4）中調用所述經壓縮的中間結果，對所述經壓縮的中間結果解壓縮，并且根據經解壓縮的所述中間結果來執行進一步的計算。

3.根據權利要求1至2中任一項所述的方法，其中，為了有損耗地壓縮，將所述數據區段分別變換到頻率范圍中（S6），并且逐個元素地對經變換的所述數據區段進行過濾（S7），以便獲得經修改的數據區段。

4.根據權利要求3所述的方法，其中，逐個元素的所述過濾（S7）包括將所述經變換的數據區段的元素的一部分與0相乘，以便獲得具有如下數目的元素“0“的經修改的數據區段，其中所述數目大于在輸入特征卡的所述數據區段中的元素“0”的數目。

5.根據權利要求3或4所述的方法，其中，一個或多個經修改的數據區段尤其是共同地利用預給定的編碼方法來編碼，以便獲得所述經壓縮的中間結果，尤其是借助于運行長度編碼或熵編碼。

6.根據權利要求5所述的方法，其中，為了逐個元素地過濾（S7），以壓縮矩陣加載所述經變換的數據區段，所述壓縮矩陣尤其對于所述神經網絡的按順序的計算的每個計算層單獨地預給定。

7.根據權利要求6所述的方法，其中，所述壓縮矩陣如此與所述經變換的數據區段的編碼方法相協調，使得實現比在將所述編碼方法直接應用到未經變換的所述數據區段上的情況下更好的壓縮。

8.根據權利要求6或7所述的方法，其中，如此預給定所述壓縮矩陣，使得對所述經變換的數據區段的較高頻的分量過濾。

9.根據權利要求8所述的方法，其中，預給定所述壓縮矩陣，其方式是，在所述神經網絡的訓練期間，用于每個計算層的過濾矩陣的矩陣元素與所述神經網絡的神經元的神經元參數共同地被訓練，尤其借助于反向傳播方法來被訓練。

10.根據權利要求1至9中任一項所述的方法，其中，所述神經網絡相應于具有多個神經元層的卷積神經網絡，所述多個神經元層分別分配有神經元參數，其中，輸出特征卡的元素分別通過以分配給所述輸出特征卡的神經元參數來加載至少一個輸入特征卡的數據區段來獲得。

11.根據權利要求1至10中任一項所述的方法，其中，將所述經壓縮的中間結果傳輸給所述外部存儲器（4），并且其中，為了借助于所述神經網絡進行進一步的計算，所述經壓縮的中間結果從所述外部存儲器（4）中被調用并被解壓縮，以便獲得經解壓縮的數據區段。

12.根據權利要求11所述的方法，其中，在從所述外部存儲器（4）中調用所述經壓縮的中間結果之后，借助解碼方法對所述中間結果進行解碼并且接著反變換，以便獲得經解壓縮的中間結果。