[發明專利]神經網絡的運算方法、裝置、計算機設備及存儲介質

在審

• 申請號: 202010852104.0
• 申請日: 2020-08-21
• 公開（公告）號: CN111985634A
• 公開（公告）日: 2020-11-24
• 發明（設計）人: 何偉;沈楊書;祝夭龍
• 申請（專利權）人: 北京靈汐科技有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/04
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

本發明公開了一種神經網絡的運算方法、裝置、計算機設備及存儲介質。神經網絡包括多個折疊組，每個折疊組中包括至少一層，每層對應有至少一個運算核，且不同所述折疊組對應的運算核至少有部分相同，所述方法包括：當確定第N+1折疊組的目標層滿足就緒條件時，將所述第N+1折疊組與第N折疊組并行處理。本發明實施例的技術方案提供了一種新的折疊組間的運行機制，減少了折疊組式神經網絡的運算耗時，并提高了折疊組式神經網絡的運算效率。

技術領域

本發明實施例涉及計算機技術，具體涉及神經網絡以及AI技術領域，尤其涉及一種神經網絡的運算方法、裝置、計算機設備及存儲介質。

背景技術

目前，為了提高神經網絡的運算速度，可以將神經網絡加載至物理芯片中，由物理芯片上的運算核實現神經網絡各層的運算功能。其中，可以將神經網絡中各層的權重信息一次性加載至物理芯片上進行運算。但是，當神經網絡的權重信息的數據量大于物理芯片的存儲量時，無法實現權重信息的一次性加載。

為了解決上述問題，現有技術可以將神經網絡進行折疊處理，如圖1a所示，可以將包括7個層的神經網絡劃分至兩個折疊組中，折疊組一中包括第一層神經網絡到第四層神經網絡，折疊組二中包括第五層神經網絡到第七層神經網絡。請參考圖1b，為了運行上述神經網絡，物理芯片中的運算核首先加載折疊組一所需的權重信息進行折疊組一的運算，并在全部運算完成后，將中間數據暫存在內存中，繼續加載折疊組二所需的權重信息后，使用內存中的中間數據再進行折疊組二的運算。

發明人在實現本發明的過程中，發現：現有技術中的多個折疊組之間采用流水式運算，在完成前一折疊組的運算之后，才能進行后一折疊組的運算，整個運算過程耗時長，運算效率低。

發明內容

本發明實施例提供了一種神經網絡的運算方法、裝置、計算機設備及存儲介質，以提高折疊組運行場景中的運算效率。

第一方面，本發明實施例提供了一種神經網絡的運算方法，所述神經網絡包括多個折疊組，每個折疊組中包括至少一層，每層對應有至少一個運算核，且不同所述折疊組對應的運算核至少有部分相同，所述方法包括：

當確定第N+1折疊組的目標層滿足就緒條件時，將所述第N+1折疊組與第N折疊組并行處理。

第二方面，本發明實施例還提供了一種神經網絡的運算裝置，所述神經網絡包括多個折疊組，每個折疊組中包括至少一層，每層對應有至少一個運算核，且不同所述折疊組對應的運算核至少有部分相同，所述裝置包括：

就緒條件確定模塊，用于判斷第N+1折疊組中的目標層是否滿足就緒條件；

并行處理模塊，用于當確定第N+1折疊組的目標層滿足就緒條件時，將所述第N+1折疊組與第N折疊組并行處理。

第三方面，本發明實施例還提供了一種計算機設備，所述計算機設備包括：

一個或多個處理器；

存儲裝置，用于存儲一個或多個程序，

當所述一個或多個程序被所述一個或多個處理器執行，使得所述一個或多個處理器實現如本發明任一實施例所述的神經網絡的運算方法。

第四方面，本發明實施例還提供了一種計算機可讀存儲介質，其上存儲有計算機程序，該程序被處理器執行時實現如本發明任一實施例所述的神經網絡的運算方法。

本發明實施例的技術方案在神經網絡的折疊組式運行場景中，引入了新的折疊組間的并行機制，后一折疊組并不是以前一折疊組整體的運行結束作為啟動條件，而是在前一折疊組的運行過程中，當檢測到后一折疊組中設定層神經網絡滿足就緒條件時，即刻開始對后一折疊組中的該層神經網絡進行運算，本發明實施例的技術方案提供了一種新的折疊組間的運行機制，減少了折疊組式神經網絡的運算耗時，并提高了折疊組式神經網絡的運算效率。

附圖說明