[發明專利]基于批數據的AI芯片片上網絡調度方法和裝置

在審

• 申請號: 202010315235.5
• 申請日: 2020-04-21
• 公開（公告）號: CN111625325A
• 公開（公告）日: 2020-09-04
• 發明（設計）人: 李先彧;鄒云曉
• 申請（專利權）人: 上海天數智芯半導體有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50
• 代理公司: 南京鐘山專利代理有限公司 32252
• 代理人: 陳月菊

1.一種基于批數據的AI芯片片上網絡調度方法，其特征在于，所述調度方法包括：

將待計算的數據劃分成多個批數據，根據預設的分時復用調度策略，在讀取下一個批數據的同時，將當前批數據采用片上總線發送至計算單元執行矩陣運算。

2.根據權利要求1所述的基于批數據的AI芯片片上網絡調度方法，其特征在于，所述調度方法還包括：

在矩陣計算過程中，采用二級緩存通過片上總線對存儲在設備內存中的待計算的數據進行讀取。

3.根據權利要求1或2所述的基于批數據的AI芯片片上網絡調度方法，其特征在于，所述根據預設的分時復用調度策略，在讀取下一個批數據的同時，將當前批數據采用片上總線發送至計算單元執行矩陣運算是指：

在同一個調度周期內，采用第一路徑組從設備內存中讀取新下一個批數據，同時，采用第二路徑組將當前批數據發送至計算單元執行矩陣運算。

4.根據權利要求3所述的基于批數據的AI芯片片上網絡調度方法，其特征在于，每個第二路徑對應至少2個計算單元。

5.根據權利要求3所述的基于批數據的AI芯片片上網絡調度方法，其特征在于，所述方法還包括：

將一個或多個路徑設置成高優先級；

采用二維仲裁機制對路徑和計算單元的對應關系進行調整，以切換每個計算單元的優先級關系。

6.根據權利要求5所述的基于批數據的AI芯片片上網絡調度方法，其特征在于，所述二維仲裁機制是指：

其中一個路徑具有高優先級，其他路徑優先級相同，每個路徑對應于至少一個計算單元，路徑與計算單元的對應關系滿足以下性質：

(1)在同一個調度周期內，每個路徑對應的計算單元不同；

(2)路徑與計算單元的對應關系按照調度周期循環變更。

7.一種基于權利要求1-2所述調度方法的基于批數據的AI芯片片上網絡調度裝置，其特征在于，所述調度裝置包括：

用于將待計算的數據劃分成多個批數據的模塊；

用于設置分時復用調度策略的模塊；

用于根據預設的分時復用調度策略，在讀取下一個批數據的同時，將當前批數據采用片上總線發送至計算單元執行矩陣運算的模塊。