[發明專利]神經網絡處理器和用于神經網絡處理器的任務調度方法

有效

• 申請號: 201810911674.5
• 申請日: 2018-08-10
• 公開（公告）號: CN110825502B
• 公開（公告）日: 2023-01-17
• 發明（設計）人: 韓金宸;王勇;施佳鑫;陳榮
• 申請（專利權）人: 昆侖芯（北京）科技有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06N3/063
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

本申請實施例公開了神經網絡處理器和用于神經網絡處理器的任務調度方法。該神經網絡處理器的一具體實施例包括：任務存儲模塊、調度模塊以及任務執行模塊；任務存儲模塊用于存儲外部處理器分配的任務信息，任務信息包括用于指示任務的任務類型的信息；調度模塊用于將任務存儲模塊所存儲的任務信息分配給任務執行模塊；任務執行模塊執行任務信息所指示的任務。縮短了任務執行模塊在完成上一次的計算任務以及接收到下一次的計算任務期間的空閑時間，提高了神經網絡處理器的利用率，延長了神經網處理器的有效工作時間。從而可以縮短對神經網絡進行訓練或使用神經網絡進行預測所需的時間。

技術領域

本申請實施例涉及集成電路技術領域，具體涉及人工智能技術領域，尤其涉及神經網絡處理器和用于神經網絡處理器的任務調度方法。

背景技術

隨著人工智能技術的快速發展，深度神經網絡的模型規模越來越大、訓練數據也越來越多，使用專用的神經網絡處理器來進行深度神經網絡訓練與預測計算的趨勢愈發明顯。

神經網絡處理器直接針對深度神經網絡中典型的、高計算密集型的計算任務進行特殊的優化，例如矩陣計算(或矩陣計算中涉及到的乘累加)、激活運算、向量運算等。一般來講，神經網絡處理器包含若干不同的執行單元。由外部處理器對每個執行單元的所執行的任務進行調度。每個執行單元可以接收外部處理器分配的任務并執行。

發明內容

本申請實施例提出了一種神經網絡處理器和用于神經網絡處理器的任務調度方法。

第一方面，本申請實施例提供了一種神經網絡處理器，該神經網絡處理器包括：任務存儲模塊、調度模塊以及任務執行模塊；所述任務存儲模塊用于存儲外部處理器分配的任務信息，所述任務信息包括用于指示任務的任務類型的信息；所述調度模塊用于將任務存儲模塊所存儲的任務信息分配給任務執行模塊；所述任務執行模塊執行任務信息所指示的任務。

在一些實施例中，所述任務存儲模塊包括至少一個先進先出存儲器，每一個所述先進先出存儲器用于存儲多個任務信息。

在一些實施例中，每一個所述先進先出存儲器所存儲的多個任務信息中，至少兩個任務信息各自指示的任務類型不相同。

在一些實施例中，所述任務執行模塊包括多個任務執行單元；所述任務執行單元在完成所述調度模塊分配的任務之后，向所述調度模塊發送用于指示任務完成的反饋信息。

在一些實施例中，所述任務執行模塊中的多個所述任務執行單元中，至少兩個任務執行單元各自對應的任務類型不相同。

在一些實施例中，每一先進先出存儲器中存儲了一個任務隊列；以及調度模塊響應于接收到每一任務執行單元的反饋信息，確定該任務執行單元對應的任務類型，從每一任務隊列的對頭所對應的任務信息中確定出與該任務類型對應的任務信息，將所確定的任務信息分配給該任務執行單元；并向外部處理器發送中斷請求。

在一些實施例中，所述外部處理器與所述神經網絡處理器之間通過PCIE總線實現通信連接。

第二方面，本申請實施例提供了一種用于神經網絡處理器的任務調度方法，所述神經網絡處理器包括任務存儲模塊、調度模塊以及任務執行模塊，所述方法包括：所述調度模塊響應于接收到所述任務執行模塊發送的用于指示任務完成的反饋信息，從所述任務存儲模塊所存儲的多個任務信息中選取與所述任務執行模塊對應的任務信息分配給所述任務執行模塊；其中，所述任務存儲模塊存儲了由外部處理器分配的多個任務信息，所述任務信息包括用于指示任務的任務類型的信息；所述調度模塊根據所述反饋信息生成中斷請求，將所述中斷請求發送給外部處理器。