[發明專利]用于神經網絡模型的編譯方法和相關產品

在審

• 申請號: 202110507769.2
• 申請日: 2021-05-10
• 公開（公告）號: CN115329923A
• 公開（公告）日: 2022-11-11
• 發明（設計）人: 不公告發明人
• 申請（專利權）人: 上海寒武紀信息科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06F8/41
• 代理公司: 北京維昊知識產權代理事務所(普通合伙) 11804
• 代理人: 孫新國

1.一種用于神經網絡模型的編譯方法，包括：

對所述神經網絡模型進行運算分析，以獲取在執行所述神經網絡模型時所要進行的張量運算和標量運算；

對所述張量運算和標量運算在多個處理器上執行時的性能指標進行評估；以及

根據所述評估的評估結果將所述張量運算和標量運算分配至相應的處理器以便執行。

2.根據權利要求1所述的編譯方法，其中對所述張量運算和標量運算在多個處理器上執行時的性能指標進行評估包括：

使用代價函數和/或收益函數來評估所述張量運算和標量運算的所述性能指標，

其中所述代價函數用于確定所述張量運算或標量運算在候選的處理器上運行時所產生的代價，并且所述收益函數用于確定所述張量運算或標量運算在候選的處理器上運行時所產生的收益。

3.根據權利要求2所述的編譯方法，其中所述代價函數包括數據傳輸代價和/或累積代價，其中所述數據傳輸代價是所述張量運算或標量運算在候選的處理器上運行時傳輸數據所產生的代價，而所述累積代價是通過累加所述張量運算或標量運算在候選的處理器上持續運行所產生的代價而獲得的。

4.根據權利要求3所述的編譯方法，其中所述收益函數包括加速收益和/或復雜度收益，其中所述加速收益是所述張量運算或標量運算在候選的處理器上運行時所獲得的運算效率收益，而所述復雜度收益是所述張量運算或標量運算在候選的處理器上運行時，運算復雜度得以降低時所獲得的收益。

5.根據權利要求1-4的任意一項所述的編譯方法，其中根據所述評估結果將所述張量運算和標量運算分配至相應的處理器以便執行包括：

使用所述代價函數和收益函數來查找函數庫，以獲得所述代價函數和收益函數的代價值和收益值；以及

基于所述代價值和收益值來確定將所述張量運算或標量運算分配至相應的通用處理器或智能處理器之一。

6.根據權利要求5所述的編譯方法，其中針對于所述收益函數設置有第一閾值并且針對于所述代價函數設置有第二閾值，并且其中分配至相應的處理器包括根據以下的比較來將所述張量運算或標量運算分配至相應的通用處理器或智能處理器之一：

根據所述收益值與所述第一閾值的比較；和/或

根據所述代價值與所述第二閾值的比較。

7.根據權利要求6所述的編譯方法，其中：

當所述收益值大于或等于所述第一閾值時，將對應的張量運算或標量運算分配至相應的通用處理器或智能處理器之一；或者

當所述代價值小于或等于所述第二閾值時，將對應的張量運算或標量運算分配至相應的通用處理器或智能處理器之一。

8.根據權利要求6所述的編譯方法，其中：

當所述收益值大于或等于所述第一閾值并且所述代價值小于或等于第二閾值時，將對應的所述張量運算或標量運算分配至相應的通用處理器或智能處理器之一。

9.根據權利要求6-8的任意一項所述的編譯方法，其中所述智能處理器包括多個智能處理器核，所述編譯方法包括將所述張量運算或標量運算分配至相應的智能處理器核之一。

10.根據權利要求1所述的編譯方法，其中進行所述運算分析以獲取所要進行的所述張量運算和標量運算包括：

根據運行所述神經網絡模型的硬件配置來對所述神經網絡模型進行編譯，以獲得執行神經網絡模型時所要進行的張量運算和標量運算。

11.根據權利要求10所述的編譯方法，其中所述編譯包括對神經網絡模型執行形狀推導、分塊和張量優化處理中的一項或多項，以獲得執行所述神經網絡模型時所要進行的張量運算。

12.根據權利要求10所述的編譯方法，其中所述編譯還包括對所述神經網絡模型中的標量運算進行標量優化，以獲得執行所述神經網絡模型時所要進行的標量運算。