[發明專利]基于神經網絡加速器的執行優化方法及裝置

在審

• 申請號: 202010260947.1
• 申請日: 2020-04-03
• 公開（公告）號: CN111488969A
• 公開（公告）日: 2020-08-04
• 發明（設計）人: 劉壯;韓睿;郭若杉;李瑞玲;李晨;莊重
• 申請（專利權）人: 北京思朗科技有限責任公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/063
• 代理公司: 北京市浩天知識產權代理事務所(普通合伙) 11276
• 代理人: 張穎瑛

1.一種基于神經網絡加速器的執行優化方法，其特征在于，包括：

對待優化的神經網絡進行解析，獲得所述神經網絡的初始執行流；

根據所述初始執行流中各層的神經元結構，將所述初始執行流劃分為多個執行流分段；

根據所述多個執行流分段生成優化執行流，以供根據所述優化執行流執行神經網絡運算；其中，在執行過程中，僅在執行流分段的起始及結束處對外部存儲器進行讀寫操作。

2.根據權利要求1所述的方法，其特征在于，所述根據所述初始執行流中各層的神經元結構，將所述初始執行流劃分為多個執行流分段進一步包括：

將相鄰的神經元結構相同的層聚合為一個執行流分段。

3.根據權利要求2所述的方法，其特征在于，若執行流分段包含多層；

則在執行過程中，將該執行流分段中的非最后層的輸出結果存儲至片內存儲器中。

4.根據權利要求1-3中任一項所述的方法，其特征在于，所述根據所述多個執行流分段生成優化執行流進一步包括：

針對于至少一個執行流分段中的任一執行流分段，對該執行流分段進行分片處理，以獲得與該執行流分段對應的至少一個執行流分段分片；

根據所述多個執行流分段以及所述至少一個執行流分段對應的執行流分段分片，生成優化執行流；

其中，在執行過程中，僅在執行流分段分片的起始及結束處對外部存儲器進行讀寫操作。

5.根據權利要求4所述的方法，其特征在于，所述對該執行流分段進行分片處理進一步包括：

根據該執行流分段所對應的神經元數量以及片內存儲器容量，確定該執行流分段所對應的分片數量；

根據所述分片數量，對該執行流分段進行分片處理。

6.根據權利要求1-3中任一項所述的方法，在所述根據所述初始執行流中各層的神經元結構，將所述初始執行流劃分為多個執行流分段之后，所述方法還包括：

對所述多個執行流分段中相鄰的至少兩個執行流分段進行合并處理，以生成與所述至少兩個執行流分段對應的修正執行流分段；

則所述根據所述多個執行流分段生成優化執行流進一步包括：根據未進行合并處理的執行流分段以及所述修正執行流分段，生成優化執行流。

7.根據權利要求6所述的方法，其特征在于，所述對所述多個執行流分段中相鄰的至少兩個執行流分段進行合并處理進一步包括：

根據所述至少兩個執行流分段的神經元數量以及片內存儲器容量，對所述多個執行流分段中相鄰的至少兩個執行流分段進行合并處理。

8.一種基于神經網絡加速器的執行優化裝置，其特征在于，包括：

解析模塊，適于對待優化的神經網絡進行解析，獲得與所述神經網絡對應的初始執行流；

分段劃分模塊，適于根據所述初始執行流中各層的神經元結構，將所述初始執行流劃分為多個執行流分段；

生成模塊，適于根據所述多個執行流分段生成優化執行流，以供根據所述優化執行流執行神經網絡運算；其中，在執行過程中，僅在執行流分段的起始及結束處對外部存儲器進行讀寫操作。

9.一種計算設備，包括：處理器、存儲器、通信接口和通信總線，所述處理器、所述存儲器和所述通信接口通過所述通信總線完成相互間的通信；

所述存儲器用于存放至少一可執行指令，所述可執行指令使所述處理器執行如權利要求1-7中任一項所述的基于神經網絡加速器的執行優化方法對應的操作。

10.一種計算機存儲介質，所述存儲介質中存儲有至少一可執行指令，所述可執行指令使處理器執行如權利要求1-7中任一項所述的基于神經網絡加速器的執行優化方法對應的操作。