[發明專利]一種用于深度學習編譯器中探索優化空間的加速方法

有效

• 申請號: 202110223874.3
• 申請日: 2021-03-01
• 公開（公告）號: CN112579063B
• 公開（公告）日: 2021-06-08
• 發明（設計）人: 潘秋紅;何水兵;陳剛;楊弢
• 申請（專利權）人: 之江實驗室
• 主分類號: G06F8/30
• 分類號: G06F8/30;G06N3/04;G06N3/08
• 代理公司: 杭州浙科專利事務所(普通合伙) 33213
• 代理人: 孫孟輝

本發明公開了一種用于深度學習編譯器中探索優化空間的加速方法，目的是通過編譯技術優化神經網絡效果，并大幅減少編譯器探索算子優化空間的耗時。該方法首先將神經網絡抽象成計算圖的形式。其次對計算圖進行圖優化，并為優化后計算圖中的每個算子定義優化空間。然后基于包含優化空間信息的算子，提出一種優化空間相似度計算方法。最后提出一種基于相似度的算子狀態空間探索方法，基于相似度對算子進行聚類，對每一個聚類中的核心算子進行全空間探索，同類的其余算子在核心算子最優方案中進行探索，確定整個神經網絡每個算子的優化方案。

技術領域

本發明涉及深度學習、編譯技術、高性能計算交叉技術應用領域，尤其是涉及種用于深度學習編譯器中探索優化空間的加速方法。

背景技術

現如今，深度神經網絡（DNN）已經在圖像分類、自然語言處理、自動駕駛、增強現實和其他AI領域有著廣泛的應用。特別是隨著計算設備的快速發展，如GPU、FPGA和特殊設計的神經網絡加速器的產生，DNN的計算能力越發強大，人工智能領域對高效DNN的需求也越發強烈，因此如何提高DNN的運行效率是近年來一個非常重要的研究問題。

現在，已經有很多深度學習框架，如TensorFlow、PyTorch、Caffe和MXNet等，可以將神經網絡表示為計算圖的形式，并針對計算圖進行圖級的優化，然后將DNN中的算子映射到第三方加速庫如CuDNN、MKL-DNN上來獲得高效的DNN運算效果。然而圖級別的優化一般是與硬件無關的，無法根據硬件特性獲取更細粒度的優化效果。而且依賴的第三方加速庫一般是非開源的，這使得程序員無法進行有效地控制，也無法輕松地跨硬件設備對DNN進行移植。除此之外，對于第三方庫不支持的算子，就無法獲得優化效果，或者是需要程序員花費大量工作進行手動調優。

在針對DNN加速的研究中，通過編譯技術將多種不同框架下的神經網絡映射到多種硬件平臺，并在映射過程中對神經網絡進行加速，產生優化后的目標平臺代碼的方法獲得了顯著的效果。一種比較高效的神經網絡編譯器包含以下執行流程：首先將多種深度學習框架下的神經網絡通過高級中間語言表示為計算圖，并對計算圖進行圖級別的優化。然后將優化后的計算圖轉換為低級中間語言表示，并對其進行算子級別的優化。最后根據目標硬件平臺產生對應的優化后代碼。

在對神經網絡進行算子級別的優化時，預先定義好每個算子的優化空間，然后采用機器學習的方法對優化空間進行探索，獲取最好的優化方案。其中每個算子的優化空間都非常大，如一個Conv算子就可能有上億種優化方案，因此對于算子的優化空間探索耗時巨大，如一個Yolo網絡需要超過一天的時間來探索優化方案。

發明內容

為解決現有技術的不足，實現在可接受的深度學習網絡推理時間增加的犧牲下，大幅減少編譯器探索算子優化空間耗時的目的，本發明采用如下的技術方案：

一種用于深度學習編譯器中探索優化空間的加速方法，包括如下步驟：

S1，對神經網絡進行抽象，將其表示為計算圖的形式；

S2，對計算圖進行圖優化；

S3，為優化后計算圖中的每個算子定義優化空間，基于包含優化空間信息的算子，進行優化空間相似度計算；

S4，基于相似度的算子狀態空間探索，基于相似度對算子進行聚類，對每一個聚類中的核心算子進行全空間探索，同類的其余算子在核心算子最優方案中進行探索，確定整個神經網絡每個算子的優化方案，并根據硬件平臺產生目標平臺代碼，包括如下步驟：

S41，計算算子的相似度矩陣；

S42，將相似度矩陣作為輸入執行AP聚類，AP聚類算法不需要預先確定聚類數量，并且聚類后每個類的中心就是輸入的一個算子，不需要重新為每個聚類選擇一個算子作為核心；

S43，對于每個聚類的核心算子，探索該算子的完整優化空間，并在探索過程中保存推理時間最短的n個優化方案；