[發明專利]一種神經網絡模型運算芯片、方法、裝置、設備及介質

有效

• 申請號: 202010780693.6
• 申請日: 2020-08-06
• 公開（公告）號: CN111651207B
• 公開（公告）日: 2020-11-17
• 發明（設計）人: 孟玉
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F9/30
• 分類號: G06F9/30;G06F9/34;G06N3/063;G06N3/04
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 熊永強;杜維

1.一種神經網絡模型運算芯片，其特征在于，該芯片包括指令處理單元、指令解析單元、調度單元和用于數據搬移與運算的執行單元，所述執行單元包括預配置的多個引擎，其中：

指令處理單元，用于向所述指令解析單元提供目標指令，所述目標指令包括目標神經網絡模型的原始指令，或者基于目標神經網絡模型的控制信息對目標原始指令更新后得到的更新指令，所述目標原始指令為所述目標神經網絡模型的原始指令中與所述控制信息匹配的原始指令，所述目標神經網絡模型包括無法預先編譯出運算全流程的神經網絡模型；

所述指令解析單元，用于解析所述目標指令，并將解析結果輸入調度單元；

所述調度單元，用于基于所述解析結果調度目標引擎執行所述目標指令指示的目標操作，所述目標操作包括運算操作或數據搬移操作，所述目標引擎為所述執行單元中的任一個引擎。

2.如權利要求1所述的芯片，其特征在于，所述芯片還包括指令生成單元、指令緩存單元和片上緩存，其中：

所述指令生成單元，用于通過編譯器，依照目標神經網絡模型的模型數據編譯所述目標神經網絡模型的混合指令集，所述混合指令集包括N條待執行指令，所述N條待執行指令包括原始指令和/或用于對所述目標原始指令進行更新的控制信息，所述N為大于1的整數；

所述指令緩存單元，用于存儲所述混合指令集；

所述片上緩存，用于存儲所述目標神經網絡模型運算所需的目標數據。

3.如權利要求2所述的芯片，其特征在于，所述芯片部署于硬件系統，所述硬件系統還包括通用處理器，所述目標數據包括以下任意一種：由所述通用處理器預處理后的待運算數據、所述目標神經網絡模型運算的中間運算結果和最終運算結果，所述待運算數據包括圖像數據、語音數據或文本數據。

4.如權利要求2所述的芯片，其特征在于，所述指令處理單元包括：預解析單元、控制信息執行單元和目標指令緩存單元，其中：

所述預解析單元，用于從所述指令緩存單元存儲的所述混合指令集中逐條讀取待執行指令，并將所述混合指令集中的原始指令輸入所述目標指令緩存單元，將所述混合指令集中的控制信息輸入所述控制信息執行單元；

所述控制信息執行單元，用于基于所述控制信息對目標原始指令更新后得到更新指令，并將所述更新指令輸入所述目標指令緩存單元；

所述目標指令緩存單元，用于存儲所述原始指令和所述更新指令，并將所述原始指令和所述更新指令輸入所述指令解析單元。

5.一種神經網絡模型運算方法，其特征在于，應用于神經網絡模型運算芯片，所述方法包括：

從關于目標神經網絡模型的混合指令集中獲取當前待執行指令，所述混合指令集中包括N條待執行指令，所述混合指令集是基于所述目標神經網絡模型的模型數據預先編譯得到的，所述N條待執行指令中包括原始指令和/或用于對所述目標神經網絡模型的目標原始指令進行更新的控制信息，所述N為大于1的整數，所述目標神經網絡模型包括無法預先編譯出運算全流程的神經網絡模型；

基于所述當前待執行指令確定目標指令；其中，若所述當前待執行指令為控制信息，則所述目標指令為逐條獲取并執行所述控制信息中的各條控制指令，得到的所述目標原始指令對應的更新指令；

解析所述目標指令，并基于解析結果調度目標引擎執行所述目標指令指示的目標操作，所述目標操作包括運算操作或數據搬移操作，所述目標引擎為預配置的多個引擎中的任一個。

6.如權利要求5所述的方法，其特征在于，所述方法還包括：若所述當前待執行指令為原始指令，則所述目標指令為所述當前待執行指令。