[發明專利]深度學習分布式訓練適配方法和裝置

有效

• 申請號: 202110869682.X
• 申請日: 2021-07-30
• 公開（公告）號: CN113672215B
• 公開（公告）日: 2023-10-24
• 發明（設計）人: 于子淇;林立翔;游亮;龍欣;張尉東;卓鈞亮
• 申請（專利權）人: 阿里巴巴新加坡控股有限公司
• 主分類號: G06F8/35
• 分類號: G06F8/35;G06N20/00;G06F18/241
• 代理公司: 北京清源匯知識產權代理事務所(特殊普通合伙) 11644
• 代理人: 張艷梅;馮德魁

本申請公開了一種深度學習分布式訓練適配方法，包括：對深度學習算法的原始代碼塊進行語義分析，得到原始代碼塊對應的分布式訓練的功能類別；根據所述原始代碼塊對應的分布式訓練的功能類別和預設的正則庫，對所述原始代碼塊進行正則匹配，得到分布式框架代碼的模板文件；對所述布式框架代碼的模板文件進行渲染，得到最終的深度學習分布式訓練代碼。采用上述方法，以解決現有技術的深度學習分布式訓練適配方法存在效率低的問題。

技術領域

本申請涉及計算機技術領域，具體涉及一種深度學習分布式訓練適配方法，本申請還涉及一種深度學習分布式訓練適配裝置和一種存儲介質。

背景技術

在人工智能領域，深度學習的實際場景落地的成熟算法往往需要更多的算力進行支撐，而單機內部的資源畢竟有限，無法承載大規模的AI(Artificial intelligence，人工智能)訓練任務。不論是數據并行、模型并行、還是混合并行的訓練方式，往往都需要大量的計算資源進行并行訓練，也就迫切需要分布式的訓練模式。

分布式訓練需要從硬件集群、到軟件設計的一整套設計流程都要精通，否則也是無法實現正確的代碼一致性和預期的訓練加速性能，而人工智能的大量算法專家大都專注于AI算法本身的模型優化，而對于分布式訓練的優化可能并不專業。目前，一些深度學習分布式框架，能夠滿足AI算法專家的這一需求，達到很好的訓練性能優化，屏蔽大量的底層硬件、通信、集群等調優技術，向上支持深度學習訓練框架，且基本的上層python接口是相似的。

誠然，由于這些分布式框架本身也是一個代碼庫，對于原始的比如單機單卡、單機多卡的代碼并不能直接適配，需要進行定制化的修改，這對于AI算法專家來講，帶來了軟件層次上的挑戰，可能需要花費很多時間進行修改，而且容易出現錯誤或精度不等價等問題；另外一方面，即便是對分布式框架很熟悉的開發人員，也需要大量精力去閱讀客戶的代碼，從而再去相應的做代碼適配工作，這個過程隨著用戶的代碼量增加而成本增長，總之適配分布式訓練的工作是一種極其低效的支持方式。

因此，現有技術下的深度學習分布式訓練適配方法存在效率低的問題。

發明內容

本申請提供一種深度學習分布式訓練適配方法、裝置，以解決現有技術的深度學習分布式訓練適配方法存在效率低的問題。

本申請提供一種深度學習分布式訓練適配方法，包括：

對深度學習算法的原始代碼塊進行語義分析，得到原始代碼塊對應的分布式訓練的功能類別；

根據所述原始代碼塊對應的分布式訓練的功能類別和預設的正則庫，對所述原始代碼塊進行正則匹配，得到分布式框架代碼的模板文件；

對所述布式框架代碼的模板文件進行渲染，得到最終的深度學習分布式訓練代碼。

作為一種實施方式，還包括：

根據深度學習算法的原始代碼塊，得到所述原始代碼塊對應的分布式框架；

所述對深度學習算法的原始代碼塊進行語義分析，得到原始代碼塊對應的分布式訓練的功能類別，包括：

將所述原始代碼塊對應的分布式框架作為語義識別模型的一個特征，對深度學習算法的原始代碼塊進行語義分析，得到原始代碼塊對應的分布式訓練的功能類別。

作為一種實施方式，所述對深度學習算法的原始代碼塊進行語義分析，得到原始代碼塊對應的分布式訓練的功能類別，包括：

對深度學習算法的原始代碼塊進行向量化處理，得到深度學習算法的原始代碼塊的向量化表示；

將所述向量化表示輸入用于功能分類的分類模型，得到原始代碼塊對應的分布式訓練的功能類別。

作為一種實施方式，所述對深度學習算法的原始代碼塊進行向量化處理，得到深度學習算法的原始代碼塊的向量化表示，包括：