[發明專利]一種基于編譯的神經網絡異構眾核多層次資源映射方法

在審

• 申請號: 202110381428.5
• 申請日: 2021-04-09
• 公開（公告）號: CN114253545A
• 公開（公告）日: 2022-03-29
• 發明（設計）人: 沈莉;周文浩;王飛;肖謙;武文浩;趙美佳;李斌
• 申請（專利權）人: 無錫江南計算技術研究所
• 主分類號: G06F8/41
• 分類號: G06F8/41;G06N3/04;G06N3/063;G06N3/08
• 代理公司: 蘇州創元專利商標事務所有限公司 32103
• 代理人: 王健

本發明公開一種基于編譯的神經網絡異構眾核多層次資源映射方法，包括以下步驟：S1、進行眾核核組資源映射；S2、進行從核線程資源映射；S3、進行向量部件資源映射。本發明可充分挖掘神經網絡算子并行潛力，發揮片上多級并行優勢，從而提升深度學習負載在異構眾核平臺上的性能。

技術領域

本發明涉及一種基于編譯的神經網絡異構眾核多層次資源映射方法，屬于編譯優化技術領域。

背景技術

深度學習編譯器的作用是將深度學習工作負載部署在特定硬件平臺以高效完成訓練和推理任務，能夠充分挖掘人工智能領域算法特點和模式化特征，將多種典型深度學習框架的模型轉化為統一的計算圖，再通過一系列領域算法指導的編譯優化技術和體系結構相關的底層優化技術，生成面向不同硬件平臺的高效代碼，用以加速深度學習中的推理過程。

TVM（Tensor Virtual Machine）是當前主流的深度學習編譯器，它針對不同的深度學習框架和硬件平臺，實現了統一的軟件棧，以盡可能高效的方式，將不同框架下的深度學習模型部署到硬件平臺，其支持的硬件平臺主要包括X86、ARM等CPU架構以及NVIDIA、AMD等GPU架構。對于多核CPU架構，深度學習編譯器采用多OpenMP多線程并行方式將計算任務映射到多個核心執行；對于GPU架構，則采用CUDA或OpenCL等編程模型進行計算任務的資源映射。

國產異構眾核處理器采用與現有的CPU和GPU完全不同的新型片上異構融合體系結構，將片上計算資源劃分為多個核組，核組內采用共享內存的主從異構眾核架構，并且在基本指令系統的基礎上，增加了向量擴展指令系統，非常適合加速深度學習任務。但是，當前深度學習編譯器支持的硬件平臺主要包括X86、ARM等CPU架構以及NVIDIA、AMD等GPU架構，針對這種擁有多層次硬件資源的國產異構眾核架構，目前的深度學習編譯器TVM無法進行有效的資源映射，使得深度學習負載無法充分發揮異構眾核平臺的性能。

發明內容

本發明的目的是提供一種基于編譯的神經網絡異構眾核多層次資源映射方法，以解決針對國產異構眾核處理器，目前的深度學習編譯器TVM無法進行有效的資源映射，導致深度學習負載無法充分發揮異構眾核平臺性能的問題。

為達到上述目的，本發明采用的技術方案是：提供一種基于編譯的神經網絡異構眾核多層次資源映射方法，包括以下步驟：

S1、進行眾核核組資源映射，具體如下：

S11、對神經網絡算子的最外層循環x進行循環分裂，獲得外層循環xo和內層循環xi，設置分裂后的外層循環xo的循環次數等于眾核核組個數N；

S12、對于S11獲得的外層循環xo，將其計算過程綁定到眾核核組資源；

S2、進行從核線程資源映射，具體如下：

S21、若步驟S11分裂前的神經網絡算子的循環層數大于等于2，執行S23，否則，執行S22；

S22、對步驟S11獲得的內層循環xi進行循環分裂，獲得外層循環yo和內層循環yi，設置分裂后的外層循環yo的循環次數等于核組內的從核線程個數T；

S23、對最外層循環x的內層循環y進行循環分裂，獲得外層循環yo和內層循環yi，設置分裂后的外層循環yo的循環次數等于核組內的從核線程個數T；

S24、對S22或S23獲得的外層循環yo，將其計算過程綁定到從核線程資源；

S3、進行向量部件資源映射，具體如下：

S31、若步驟S11分裂前的神經網絡算子的循環層數大于等于3，執行步驟S33，否則，執行步驟S32；

S32、對步驟S2獲得的內層循環yi進行循環分裂，獲得外層循環zo和內層循環zi，設置分裂后的內層循環zi的循環次數等于運算核心向量寬度K；

S33、對內層循環y的內層循環z進行循環分裂，獲得外層循環zo和內層循環zi，設置分裂后的內層循環zi的循環次數等于運算核心向量寬度K；