[發明專利]一種神經網絡芯片的優化方法、系統、設備和存儲介質

在審

• 申請號: 202010574428.2
• 申請日: 2020-06-22
• 公開（公告）號: CN111753973A
• 公開（公告）日: 2020-10-09
• 發明（設計）人: 鄒偉;熊超;蔡權雄;牛昕宇
• 申請（專利權）人: 深圳鯤云信息科技有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 潘登

本發明實施例公開了一種神經網絡芯片的優化方法、系統、設備和存儲介質。該方法包括：獲取預設的神經網絡模型；將所述神經網絡模型編譯為第一中間表達，所述第一中間表達包括一個或多個第一計算單元；根據所述一個或多個第一計算單元在神經網絡芯片的運行時間確定所述第一中間表達在所述神經網絡芯片的運行總時間；根據所述運行總時間對所述神經網絡芯片的芯片參數進行調整以優化所述神經網絡芯片。本發明實施例實現了優化神經網絡芯片，以使其與針對某個應用場景的神經網絡模型具有高契合度。

技術領域

本發明實施例涉及神經網絡技術，尤其涉及一種神經網絡芯片的優化方法、系統、設備和存儲介質。

背景技術

近年來隨著神經網絡的興起，專用于神經網絡的AI(ArtificialIntelligence，人工智能)芯片也呈現出百家爭鳴的盛況，每一款芯片的誕生都凝聚著研究人員日以繼夜的努力。

目前人工智能芯片按功能類別可分為訓練和推理，且當前的發展現狀以訓練為主。但是因為神經網絡的應用不斷下沉落地，對推理芯片的需求逐漸上升。推理芯片應用場景有云端、終端場景，云端場景對芯片的功耗以及性能上都沒有苛刻的要求，但是終端場景因為面對如自動駕駛、安防領域等需要實時響應，芯片功耗低等因素，催生出了根據場景定制化的推理芯片。

然而當前的AI定制化芯片如何做到和應用場景深度結合還是一個難題，目前的定制化AI芯片做法基本上是使用硬件加速某些算子，讓應用場景來適應AI芯片。但實際上通常是先有一個應用場景，根據這一應用場景實現了一個神經網絡模型，然后這個神經網絡模型需要一款能夠實現極致性能的AI芯片。但當前定制化AI芯片只是針對某個算法進行硬件加速，脫離了實際應用場景，且模型與定制化AI芯片的契合性不高，雖然比通用性芯片有提高，但是無法發揮出芯片的全部潛力。

發明內容

本發明實施例提供一種神經網絡芯片的優化方法、系統、設備和存儲介質，以實現優化神經網絡芯片，以使其與針對某個應用場景的神經網絡模型具有高契合度。

為達此目的，本發明實施例提供了一種神經網絡芯片的優化方法，該方法包括：

獲取預設的神經網絡模型；

將所述神經網絡模型編譯為第一中間表達，所述第一中間表達包括一個或多個第一計算單元；

根據所述一個或多個第一計算單元在神經網絡芯片的運行時間確定所述第一中間表達在所述神經網絡芯片的運行總時間；

根據所述運行總時間對所述神經網絡芯片的芯片參數進行調整以優化所述神經網絡芯片。

進一步的，所述將所述神經網絡模型編譯為第一中間表達包括：

將所述神經網絡模型轉換為基于指令集架構的第二中間表達；

將所述第二中間表達轉換為基于數據流架構第一中間表達。

進一步的，所述將所述第二中間表達轉換為基于數據流架構第一中間表達包括：

解析所述第二中間表達以得到一個或多個第二計算單元；

基于預設的數據流架構將所述一個或多個第二計算單元匹配映射為一個或多個第一計算單元；

根據所述一個或多個第一計算單元得到基于數據流架構第一中間表達。

進一步的，所述將所述神經網絡模型編譯為第一中間表達之后包括：

基于神經網絡芯片的芯片參數對所述第一中間表達進行優化。

進一步的，所述基于神經網絡芯片的芯片參數對所述第一中間表達進行優化包括：

根據所述神經網絡芯片的芯片參數確定所述神經網絡芯片的計算順序；