[發明專利]一種用于CPU集群的分階段并行編譯優化方法

在審

• 申請號: 202211703928.7
• 申請日: 2022-12-29
• 公開（公告）號: CN115904390A
• 公開（公告）日: 2023-04-04
• 發明（設計）人: 孫禮銳;王鑫宇;王中盟
• 申請（專利權）人: 安徽深圖科技有限公司
• 主分類號: G06F8/41
• 分類號: G06F8/41
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種用于CPU集群的分階段并行編譯優化方法，該方法包括以下步驟：S1、CPU集群數據獲取；S2、將獲取后的數據進行操作符并行，并進行優化；S3、通過執行引擎進行對操作符并行后的數據進行執行，將獲取后的數據進行操作符并行，并進行優化包括以下步驟：S21、將獲取后的數據進行操作符內并行；S22、將操作符內并行的數據進行操作符內部優化；S23、將獲取后的數據進行操作符間并行；S24、將操作符間并行的數據進行操作符間優化。本發明實現了自動使用層次優化算法生成執行計劃，實現編譯過程，具有協調設備組之間的操作間并行性的運行時架構，改善編譯和解決跨設備組通信的系統優化。

技術領域

本發明涉及編譯優化領域，具體來說，涉及一種用于CPU集群的分階段并行編譯優化方法。

背景技術

隨著時代的發展人們對計算機的運用也越發廣泛，使得計算機中的深度學習也越發收到人們的重視，而深度學習的計算通常用流行的機器學習框架表示為一個數據流圖，其中節點是計算運算符，如矩陣乘法，它將輸入張量轉換為輸出張量，同時利用迭代訓練一次深度學習模型通過數據流圖計算一批數據來計算損失，再通過反向傳遞算出更新，且通過權重更新操作將參數應用于更新。

現有技術中，模型開發人員首先定義數據流圖，然后執行引擎在計算設備上進行優化并執行它，當模型或數據很大，單個設備不能在合理的時間內完成訓練時，我們常規上使用機器學習并行化方法，在分布式設備上并行化計算。現有的機器學習并行化方法通常被分為數據、操作符和流水線并行。

在數據并行性中，訓練數據是跨分布式設備進行分區的，但模型是復制的，每個分布式設備在其獨立的數據分割上計算參數更新，并在權重更新之前與其他設備同步更新，以便所有設備在整個訓練過程中具有一致的模型參數。而流水線并行不是劃分操作符，而是將模型圖中不同的操作進行分組，放在不同的設備上進行實現，同時，它將訓練中的操作符分成若干小批次，依次用不同的設備計算不同批次的任務，且當模型太大而無法使用一個設備實現操作符計算時，大多選擇操作符并行，操作符并行是指將特定操作符的計算劃分為矩陣，并跨多個設備并行計算操作符的每個部分，并在所有的設備之間進行同步，保證所有的設備都是同構的。

最先進的訓練系統，如Megatron-LM，手動設計了一個專門的執行計劃，將這些并行與轉換語言模型并行，也被稱為3D并行，通過假設模型重復使用相同的transformer層，它為每個流水線階段分配相同數量的層，并對所有層統一應用手工設計的操作符和數據并行性配置，手動組合各種并行性方案不僅需要專業的知識，還難以推廣到不同的模型或不同的集群設置。

但是現有的模型并行訓練系統需要用戶手動創建并行化計劃，或是只能從有限的模型并行化配置空間中自動生成并行化計劃，在訓練的數據集體量和數量都變得越來越龐大的現在，以上方式消耗的人工成本也越來越高，所以它們不足以在分布式計算設備上擴展復雜的深度學習模型。

針對相關技術中的問題，目前尚未提出有效的解決方案。

發明內容

針對相關技術中的問題，本發明提出一種用于CPU集群的分階段并行編譯優化方法，以克服現有相關技術所存在的上述技術問題。

為此，本發明采用的具體技術方案如下：

一種用于CPU集群的分階段并行編譯優化方法，該方法包括以下步驟：

S1、CPU集群數據獲取；

S2、將獲取后的數據進行操作符并行，并進行優化；

S3、通過執行引擎進行對操作符并行后的數據進行執行。

進一步的，將獲取后的數據進行操作符并行，并進行優化包括以下步驟：

S21、將獲取后的數據進行操作符內并行；

S22、將操作符內并行的數據進行操作符內部優化；