[發明專利]神經網絡計算方法、裝置、設備及計算機可讀存儲介質

有效

• 申請號: 202111417211.1
• 申請日: 2021-11-26
• 公開（公告）號: CN113835900B
• 公開（公告）日: 2022-02-22
• 發明（設計）人: 吳延慶;熊超;蔡權雄;牛昕宇
• 申請（專利權）人: 山東產研鯤云人工智能研究院有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06N3/02
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 陳文斌

本申請公開了一種神經網絡計算方法、裝置、設備及計算機可讀存儲介質，所述神經網絡計算方法包括：獲取神經網絡模型中各算子在執行數據運算時所需的高速緩存占用量；根據所述神經網絡模型中各分支的算子所需的高速緩存占用量確定在執行神經網絡計算時各所述分支的優先級；按照所述優先級依次執行所述神經網絡模型中各所述分支的數據運算。本申請旨在提高高速緩存的利用率，從而提高執行神經網絡計算的速度。

技術領域

本申請涉及神經網絡技術領域，尤其涉及一種神經網絡計算方法、裝置、設備及計算機可讀存儲介質。

背景技術

隨著深度學習的快速發展，神經網絡已經大量應用于機器視覺應用，例如圖像識別與圖像分類。

傳統深度學習計算圖執行時，采用拓撲排序順序，即首先對計算圖進行拓撲排序，然后按照拓撲排序順序執行計算圖中的每個節點。雖然不同的拓撲排序算法可能會產生不同的順序，但是對于相同拓撲結構的計算圖總是產生相同的執行順序。拓撲排序算法對相同拓撲結構的計算圖總是產生相同的執行順序，沒有考慮每個算子對內存需求的不同，導致緩存的利用率不高。

發明內容

本申請的主要目的在于提供一種神經網絡計算方法、裝置、設備及計算機可讀存儲介質，旨在提高高速緩存的利用效率。

為實現上述目的，本申請提供一種神經網絡計算方法，所述神經網絡計算方法包括：

獲取神經網絡模型中各算子在執行數據運算時所需的高速緩存占用量；

根據所述神經網絡模型中各分支的算子所需的高速緩存占用量確定在執行神經網絡計算時各所述分支的優先級；

按照所述優先級依次執行所述神經網絡模型中各所述分支的數據運算。

可選地，所述根據所述神經網絡模型中各分支的算子所需的高速緩存占用量確定在執行神經網絡計算時各所述分支的優先級的步驟包括：

根據每一所述分支的算子所需的高速緩存占用量的總和確定所述神經網絡模型中各分支的第一優先級得分，根據每一所述分支中目標算子所需的高速緩存占用量確定所述神經網絡模型中各分支的第二優先級得分，根據每一所述分支的算子所需的最大高速緩存占用量確定所述神經網絡模型中各分支的第三優先級得分；

根據所述第一優先級得分，和/或第二優先級得分，和/或第三優先級得分確定所述神經網絡模型中各分支的優先級。

可選地，所述根據所述第一優先級得分，和/或第二優先級得分和/或第三優先級得分確定所述神經網絡模型的各分支的優先級的步驟包括：

獲取預設的計算權重矩陣；

根據所述計算權重矩陣及所述第一優先級得分、第二優先級得分以及第三優先級得分確定所述神經網絡模型的優先級得分；

根據優先級得分確定所述神經網絡模型各分支的優先級。

可選地，所述根據優先級得分確定所述神經網絡模型各分支的優先級的步驟包括：

根據所述優先級得分依次對所述神經網絡模型中各所述分支進行排序，其中按照得分由高到低依次排序；

根據排序結果確定所述神經網絡模型中各所述分支的優先級，其中，得分高的分支的優先級高于得分低的分支的優先級。

可選地，所述獲取神經網絡模型中各算子在執行數據運算時所需的高速緩存占用量的步驟包括：

獲取高速緩存的存儲大小以及所述算子執行數據運算時的數據量；

根據所述高速緩存的存儲大小以及所述數據量確定所述高速緩存占用量。

可選地，所述按照所述優先級依次執行各分支的數據運算的步驟之后，包括：