[發明專利]一種神經網絡處理方法、裝置、計算機設備及存儲介質

在審

• 申請號: 201910910117.6
• 申請日: 2019-09-24
• 公開（公告）號: CN110674936A
• 公開（公告）日: 2020-01-10
• 發明（設計）人: 不公告發明人
• 申請（專利權）人: 上海寒武紀信息科技有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/08;G06F9/48;G06F9/50
• 代理公司: 44202 廣州三環專利商標代理有限公司
• 代理人: 郝傳鑫;熊永強

本發明實施例公開了一種神經網絡處理方法、裝置、計算機設備及存儲介質，通過將算子拆分成多個規模更小的算子，這樣多核處理器可以直接調用單核架構下的計算庫，充分利用了多核處理器的硬件資源。

技術領域

本發明涉及信息處理技術領域，尤其涉及一種神經網絡處理方法、裝置、計算機設備及存儲介質。

背景技術

隨著人工智能技術的快速發展，基于內存共享模型的多核處理器已經成為了當前處理器的主流架構，這種多核架構和每個核內的向量處理能力同樣可以應用到神經網絡計算中。在實際應用中，通常可以采用數據并行的方式來充分利用多核處理器架構所帶來的額外硬件資源，即令每個處理器核分別同時執行不同數據在同一個神經網絡模型上的計算。然而，多核處理器結構并不能使用這種并行方法來處理推理場景下的小批量且要求低時延的神經網絡計算任務。那么，如何保證數據并行與神經網絡模型并行相統一，以充分利用多核處理器的硬件資源是亟需解決的技術問題。

發明內容

本發明實施例提供一種神經網絡處理方法、裝置、計算機設備及存儲介質，通過將神經網絡計算任務拆分成若干個規模更小的子計算任務，這樣多核處理器可以直接調用單核架構下的計算庫，充分利用了多核處理器的硬件資源，從而可以避免重現實現的額外工作量。

為實現上述目的，第一方面，本發明實施例提供了一種神經網絡處理方法，所述方法應用于人工智能處理器，所述人工智能處理器包括M個人工智能處理器核，M為大于1的正整數；所述方法包括：

獲取神經網絡模型對應的計算圖；其中，所述神經網絡模型包含多個算子；

在拆分策略集合中確定所述神經網絡計算任務的目標拆分策略；其中，所述拆分策略集合為所述計算圖中目標算子對應的拆分方式組成的集合；

根據所述目標拆分策略對所述神經網絡計算任務進行拆分，得到多個子計算任務；

將所述子計算任務分配到人工智能處理器中的對應人工智能處理器核上進行處理。

第二方面，本發明實施例提供了一種神經網絡處理裝置，該裝置包括用于執行上述第一方面的方法的單元。具體地，該裝置應用于人工智能處理器，所述人工智能處理器包括M個人工智能處理器核，M為大于1的正整數；所述裝置包括：

第一獲取單元，用于獲取神經網絡模型對應的計算圖；其中，所述神經網絡模型包含多個算子；

第一確定單元，用于在拆分策略集合中確定所述神經網絡計算任務的目標拆分策略；其中，所述拆分策略集合為所述計算圖中目標算子對應的拆分方式組成的集合；

拆分單元，用于根據所述目標拆分策略對所述神經網絡計算任務進行拆分，得到多個子計算任務；

執行單元，用于將所述子計算任務分配到人工智能處理器中的對應人工智能處理器核上進行處理。

第三方面，本申請實施例提供了一種計算機設備，包括處理器和存儲器，所述處理器和存儲器相互連接，其中，所述處理器包括通用處理器和人工智能處理器，所述存儲器用于存儲支持計算機設備執行上述方法的計算機程序，所述計算機程序包括程序指令，所述處理器被配置用于調用所述程序指令，執行上述第一方面的方法。

第四方面，本申請實施例提供了一種計算機可讀存儲介質，所述計算機存儲介質存儲有計算機程序，所述計算機程序包括程序指令，所述程序指令當被處理器執行時使所述處理器執行上述第一方面的方法。

第五方面，本申請實施例提供了一種計算機程序，所述計算機程序包括程序指令，所述程序指令當被處理器執行時使所述處理器執行上述第一方面的方法。

實施本申請實施例，通過將神經網絡計算任務拆分成若干個規模更小的子計算任務，這樣多核處理器可以直接調用單核架構下的計算庫，充分利用了多核處理器的硬件資源，從而可以避免重現實現的額外工作量。