[發明專利]一種面向國產異構眾核處理器的TensorFlow框架核心計算加速引擎

在審

• 申請號: 202110381665.1
• 申請日: 2021-04-09
• 公開（公告）號: CN114217941A
• 公開（公告）日: 2022-03-22
• 發明（設計）人: 肖謙;王飛;沈莉;趙美佳;周文浩;武文浩;李斌
• 申請（專利權）人: 無錫江南計算技術研究所
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06N20/00
• 代理公司: 蘇州創元專利商標事務所有限公司 32103
• 代理人: 王健

本發明公開一種面向國產異構眾核處理器的TensorFlow框架核心計算加速引擎，獨立設置于TensorFlow框架與多個眾核計算加速庫之間，包括以下功能模塊：算子接口模塊，用于將運行流程轉入核心計算加速引擎；分析調度模塊，用于分析算子類型和算子參數特性，將算子參數封裝為各個眾核計算加速庫的參數結構，并根據算子類型調用不同的眾核計算加速庫，當同種算子類型有多種算子實現時，根據算子參數特點自動選擇最優的實現方式并進行調用；調試模塊，用于記錄各個算子的運行時間，從算子層面分析模型推理或訓練過程的性能表現。本發明可充分發揮國產異構眾核強大的強大計算能力，提供自動化的深度學習任務核心加速能力。

技術領域

本發明涉及一種面向國產異構眾核處理器的TensorFlow框架核心計算加速引擎，屬于高性能計算技術領域。

背景技術

國產異構眾核處理器具有超高的計算性能，其軟件系統有多種深度優化的計算加速庫，主要包括SWDNN、SWBlas、眾核數學庫等等，這些計算加速庫能充分利用國產異構眾核處理器的高性能。

Tensorflow框架是當前應用非常廣泛的一個深度學習庫，提供了豐富的編程接口支持深度學習領域的各種計算任務，該框架主要支持的處理器后端包括多核CPU、眾核的GPU以及機器學習專用芯片TPU；TensorFlow框架對CPU、GPU、TPU等處理器后端的核心計算加速也是通過調用高性能算子庫實現的，但缺乏對國產異構眾核處理器的支持，如何高效利用異構眾核架構上的多種核心計算加速庫以實現對Tensorflow框架的性能提升是一個挑戰。

TensorFlow原生代碼缺乏對國產異構眾核處理器的支持，如果簡單移植無法充分利用異構眾核架構的計算能力。一般采用直接在TensorFlow的核心代碼中調用各種眾核加速庫來提升深度學習任務的性能的方式，但是這種方式會帶來很多麻煩。

首先由于TensorFlow框架的復雜性，直接調用加速庫會增加代碼修改難度，也會因為影響框架的默認流程而造成許多不可預知的問題，這種方式不能有效剝離平臺無關和平臺相關代碼；其次，由于眾核加速庫的多態性，在調用加速庫時要考慮多種適應性情況，這時候需要有獨立的代碼邏輯來進行核心計算的特性分析和加速核心的自適應調用。

發明內容

本發明的目的是提供一種面向國產異構眾核處理器的TensorFlow框架核心計算加速引擎，其可充分發揮國產異構眾核強大的強大計算能力，提供自動化的深度學習任務核心加速能力。

為達到上述目的，本發明采用的技術方案是：提供一種面向國產異構眾核處理器的TensorFlow框架核心計算加速引擎，獨立設置于TensorFlow框架與多個眾核計算加速庫之間，包括以下功能模塊：

算子接口模塊，提供一系列標準化的算子調用接口，用于修改TensorFlow框架中的kernel層代碼，供需要加速的算子實現調用，從而將運行流程轉入核心計算加速引擎；

分析調度模塊，用于分析算子類型和算子參數特性，將算子參數封裝為各個眾核計算加速庫的參數結構，并根據算子類型調用不同的眾核計算加速庫，當同種算子類型有多種算子實現時，根據算子參數特點自動選擇最優的實現方式并進行調用；

調試模塊，用于定位算子錯誤，進一步包括算子控制單元、非數定位單元和算子日志單元；

算子控制單元，通過環境變量的方式打開或關閉各個算子的計算流程，如某算子關閉，則該算子計算通過TensorFlow框架的默認流程進行計算，通過調試模塊快速定位各個算子的正確性問題；

非數定位單元，通過算子計算開始和結束后的檢查代碼監測是否有非數產生，從而定位非數產生的第一現場；

算子日志單元，用于輸出模型運行過程中的所有算子列表和參數；

性能分析模塊，用于記錄各個算子的運行時間，從算子層面分析模型推理或訓練過程的性能表現。

上述技術方案中進一步改進的方案如下：