[發明專利]一種基于異構眾核架構的直接內存訪問編譯優化方法

在審

• 申請號: 202110381660.9
• 申請日: 2021-04-09
• 公開（公告）號: CN114217807A
• 公開（公告）日: 2022-03-22
• 發明（設計）人: 周文浩;王飛;沈莉;肖謙;武文浩;李斌;趙美佳
• 申請（專利權）人: 無錫江南計算技術研究所
• 主分類號: G06F8/41
• 分類號: G06F8/41;G06F9/50
• 代理公司: 蘇州創元專利商標事務所有限公司 32103
• 代理人: 王健

本發明公開一種基于異構眾核架構的直接內存訪問編譯優化方法，包括以下步驟：S1、通過調度原語cache_read，將張量數據由主存搬移到局存；S2、通過調度原語pragma，將S11中的數據搬移操作改寫為DMA GET操作；S3、通過調度原語double_buffer，將S2中的DMA GET操作優化為雙緩沖模式；S4、通過調度原語pragma，在局存副本AA使用位置前插入回答字判斷操作；S5、通過調度原語cache_write，將結果張量B的局存副本BB由局存搬移至主存。本發明充分利用硬件資源，最大程度實現算子的計算訪存操作的重疊，從而提升深度學習負載在異構眾核平臺上的性能。

技術領域

本發明涉及一種基于異構眾核架構的直接內存訪問編譯優化方法，屬于編譯優化技術領域。

背景技術

當前深度學習模型越來越復雜，計算數據量暴增，訪存逐漸成為性能優化的瓶頸，直接內存訪問（DMA）方式可以很好解決該問題。直接內存訪問（DMA）是一種無需CPU的參與就可以讓外部設備與系統內存之間進行雙向數據傳輸的硬件機制，完全由硬件執行I/O交換任務，數據不經過運算控制核心而直接在內存和運算核心之間進行，減少了大批量數據傳輸的開銷，從而大大提高系統的吞吐率。

深度學習編譯器的作用是將深度學習工作負載部署在特定硬件平臺以高效完成訓練和推理任務，其能夠充分挖掘人工智能領域算法特點和模式化特征，將多種典型深度學習框架的模型轉化為統一的計算圖，再通過一系列領域算法指導的編譯優化技術和體系結構相關的底層優化技術，生成面向不同硬件平臺的高效代碼，用以加速深度學習中的推理過程。TVM（Tensor Virtual Machine）是當今非常流行的一款深度學習編譯器，它針對不同的深度學習框架和硬件平臺，實現了統一的軟件棧，以盡可能高效的方式，將不同框架下的深度學習模型部署到硬件平臺。

國產異構眾核處理器采用新型直接內存訪問（DMA）機制，該機制不同于現有的CPU/GPU架構，采用“DMA操作+回答字判斷“相結合的方式完成異步數據交換，完全由硬件執行I/O交換任務，數據不經過運算控制核心而直接在內存和運算核心之間進行，減少了大批量數據傳輸的開銷，具有編程靈活，使用便捷的特點。但是，目前深度學習編譯器TVM并不支持針對國產異構眾核處理器的DMA調度優化。

發明內容

本發明的目的是提供一種基于異構眾核架構的直接內存訪問編譯優化方法，其充分利用硬件資源，最大程度實現算子的計算訪存操作的重疊，從而提升深度學習負載在異構眾核平臺上的性能。

為達到上述目的，本發明采用的技術方案是：提供一種基于異構眾核架構的直接內存訪問編譯優化方法，包括以下步驟：

S1、通過調度原語cache_read，將張量數據由主存搬移到局存，具體如下：

S11、對結果張量B計算過程所依賴的張量數據A，為其定義局存副本AA，并通過調度原語cache_read將張量數據A由主存搬移到局存副本AA；

S12、將局存副本AA綁定到結果張量B計算過程的循環x的位置；

S2、通過調度原語pragma，將S11中的數據搬移操作改寫為DMA GET操作，具體如下：對于局存副本AA，將其數據搬移方式由循環load改寫為DMA GET操作；

S3、通過調度原語double_buffer，將S2中的DMA GET操作優化為雙緩沖模式，具體如下：

S31、如果不進行雙緩沖優化，則使用基本的異步DMA操作，則跳轉S4；

S32、如果需要進行雙緩沖優化，則在S2中調度原語pragma的基礎上，將局存副本AA的DMA GET操作優化為雙緩沖模式；

S4、通過調度原語pragma，在局存副本AA使用位置前插入回答字判斷操作，具體如下：

S41、對于S31的情況，在局存副本AA使用位置前插入基本回答字判斷操作；

S42、對于S32的情況，在局存副本AA使用位置前插入雙緩沖回答字判斷操作；