[發明專利]運算方法、裝置及相關產品

在審

• 申請號: 201910263147.2
• 申請日: 2019-04-02
• 公開（公告）號: CN111767995A
• 公開（公告）日: 2020-10-13
• 發明（設計）人: 不公告發明人
• 申請（專利權）人: 上海寒武紀信息科技有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063
• 代理公司: 北京林達劉知識產權代理事務所(普通合伙) 11277
• 代理人: 劉新宇

本公開涉及一種運算方法、裝置及相關產品，所述產品包括控制模塊，所述控制模塊包括：指令緩存單元、指令處理單元和存儲隊列單元；所述指令緩存單元，用于存儲所述人工神經網絡運算關聯的計算指令；所述指令處理單元，用于對所述計算指令解析得到多個運算指令；所述存儲隊列單元，用于存儲指令隊列，該指令隊列包括：按該隊列的前后順序待執行的多個運算指令或計算指令。通過以上方法，本公開可以提高相關產品在進行神經網絡模型的運算時的運算效率。

技術領域

本公開涉及深度學習技術領域，尤其涉及一種運算方法、裝置及相關產品。

背景技術

在深度學習技術領域，通常是在指令級別使用硬件指令和對應的硬件機制來實現多任務的并發同步。但是，使用硬件指令和對應的硬件機制實現多任務的并發同步的方式并不適用于所有的處理器，這就使得使用硬件指令和對應的硬件機制來進行并發同步的方法具有一定的限制性，通用性較低。

發明內容

有鑒于此，本公開提出了一種運算方法、裝置及相關產品。

根據本公開的一方面，提供了一種運算方法，應用于處理器，所述處理器包括多個處理單元，所述方法包括：確定神經網絡模型各待執行任務之間的依賴關系，所述各待執行任務為所述神經網絡模型進行任務拆分得到的，所述各待執行任務被下發至不同的處理單元運行；根據所述依賴關系，在所述神經網絡模型中添加同步算子，以使修改后的神經網絡模型各待執行任務按照所述依賴關系執行。

在一種可能的實現方式中，所述根據所述依賴關系，在所述神經網絡模型中添加同步算子，包括：根據所述依賴關系，在運行在不同的處理單元上的當前任務的網絡層和前繼任務的網絡層之間添加所述同步算子，所述當前任務為所述前繼任務執行完畢后執行的任務。

在一種可能的實現方式中，所述依賴關系通過各所述待執行任務所需數據的存儲地址區間是否具有重疊的區域確定。

在一種可能的實現方式中，所述同步算子包括第一算子和第二算子；所述第一算子，用于表征所述前繼任務的運行狀態；所述第二算子，用于根據所述第一算子確定是否運行所述當前任務。

在一種可能的實現方式中，所述第二算子，用于在預設時間間隔讀取第一算子，并根據讀取到的所述第一算子確定是否運行所述當前任務。

在一種可能的實現方式中，所述運行狀態包括運行未完成或運行完成。

在一種可能的實現方式中，所述同步算子存儲于所述處理器的共享內存中。

在一種可能的實現方式中，所述方法還包括：根據添加所述同步算子后的神經網絡模型生成調度表，所述調度表包括各所述處理單元所要執行的待執行任務，以及各所述待執行任務的依賴關系。

在一種可能的實現方式中，所述調度表為多個，各所述調度表分別與所述處理器的各個處理單元相對應。

根據本公開的另一方面，提供了一種運算裝置，其特征在于，包括：依賴關系確定模塊，用于確定神經網絡模型各待執行任務之間的依賴關系，所述各待執行任務為所述神經網絡模型進行任務拆分得到的，所述各待執行任務被下發至不同的處理單元運行；同步算子添加模塊，用于根據所述依賴關系，在所述神經網絡模型中添加同步算子，以使修改后的神經網絡模型各待執行任務按照所述依賴關系執行。

在一種可能的實現方式中，所述同步算子添加模塊包括：第一添加子模塊，用于根據所述依賴關系，在運行在不同的處理單元上的當前任務的網絡層和前繼任務的網絡層之間添加所述同步算子，所述當前任務為所述前繼任務執行完畢后執行的任務。

在一種可能的實現方式中，所述依賴關系通過各所述待執行任務所需數據的存儲地址區間是否具有重疊的區域確定。