[發明專利]一種神經網絡運算的系統、方法、裝置及存儲介質

有效

• 申請號: 201911185683.1
• 申請日: 2019-11-27
• 公開（公告）號: CN112860597B
• 公開（公告）日: 2023-07-21
• 發明（設計）人: 劉文峰
• 申請（專利權）人: 珠海格力電器股份有限公司
• 主分類號: G06F12/0842
• 分類號: G06F12/0842;G06F12/0811;G06F12/084;G06N3/063
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 王嬌

1.一種神經網絡運算系統，其特征在于，所述神經網絡運算系統包括至少兩個神經網絡處理單元、第一存儲單元和第二存儲單元，其中：

所述第一存儲單元，用于存儲神經網絡的輸入數據、輸出數據和每層神經網絡運算所需的運算參數；

所述第二存儲單元，用于為所述至少兩個神經網絡處理單元中的每個神經網絡單元提供輸入緩存和輸出緩存，每個神經網絡處理單元包括兩個輸入緩存和兩個輸出緩存，相鄰兩個神經網絡處理單元中的一個神經網絡處理單元的兩個輸出緩存為另一個神經網絡處理單元的兩個輸入緩存；

所述至少兩個神經網絡處理單元進行環形連接，且所述至少兩個神經網絡處理單元中的每個神經網絡處理單元，依次對神經網絡的每層網絡的部分行列數據進行卷積運算，將得到的卷積運算結果存儲至該神經網絡處理單元的一個輸出緩存，并依次對神經網絡的每層網絡的剩余行列數據的部分行列數據進行卷積運算，所述卷積運算結果用于與該神經網絡處理單元相鄰的下游神經網絡處理單元進行下一層網絡的卷積運算，所述每個神經網絡處理單元對所述剩余行列數據的部分行列數據進行的卷積運算與所述下游神經網絡處理單元基于所述卷積運算結果進行下一層網絡的卷積運算同時進行。

2.一種神經網絡運算方法，其特征在于，所述方法應用于神經網絡運算系統，所述神經網絡運算系統包括至少兩個神經網絡處理單元，所述至少兩個神經網絡處理單元包括相鄰的第一神經網絡處理單元和第二神經網絡處理單元，所述方法包括：

所述第一神經網絡處理單元依次對一層網絡的第一部分行列數據進行卷積運算，將得到的第一卷積運算結果存儲至所述第一神經網絡處理單元的第一輸出緩存；在滿足緩存切換觸發條件時，所述第一神經網絡處理單元將輸出緩存從所述第一輸出緩存切換至第二輸出緩存；并對所述一層網絡的第二部分行列數據進行卷積運算，將得到的第三卷積運算結果存儲至所述第二輸出緩存；

所述第二神經網絡處理單元從所述第一輸出緩存中獲得所述第一卷積運算結果，并根據所述第一卷積運算結果進行與所述一層網絡相鄰的下一層網絡的卷積運算，以及將得到的第二卷積運算結果存儲至所述第二神經網絡處理單元的一個輸出緩存，所述第二神經網絡處理單元根據所述第一卷積運算結果進行所述下一層網絡的卷積運算與所述第一神經網絡處理單元對所述第二部分行列數據進行的卷積運算同時進行。

3.如權利要求2所述的方法，其特征在于，確定滿足緩存切換觸發條件，包括：

確定完成對所述部分行列數據的全部運算。

4.如權利要求2所述的方法，其特征在于，所述方法還包括：

在所述第二神經網絡處理單元對所述第一卷積運算結果運算完成后，確定所述第二輸出緩存中的數據已完成存儲準備；

若所述第二輸出緩存中的數據已完成存儲準備，則將所述第二神經網絡處理單元的輸入緩存由所述第一輸出緩存切換至所述第二輸出緩存，以從所述第二輸出緩存中獲取數據進行運算；

若所述第二輸出緩存中的數據未完成存儲準備，則進行等待。

5.如權利要求2所述的方法，其特征在于，所述第一神經網絡處理單元依次對一層網絡的部分行列數據進行卷積運算，包括：

所述第一神經網絡處理單元按照預定間隔步長依次對一層網絡的部分行列數據進行卷積運算，所述預定間隔步長是根據所述第一輸出緩存和所述第二輸出緩存確定的。

6.如權利要求2-4任一所述的方法，其特征在于，所述第一神經網絡處理單元依次對一層網絡的部分行列數據進行卷積運算，包括：

若按行進行運算，則所述第一神經網絡處理單元對部分行的全部列和全部輸入通道的數據進行卷積運算。

7.如權利要求2-4任一所述的方法，其特征在于，所述第一神經網絡處理單元依次對一層網絡的部分行列數據進行卷積運算，包括：

若按列進行運算，則所述第一神經網絡處理單元對部分列的全部行和全部輸入通道的數據進行卷積運算。