[發明專利]深度學習分布式訓練適配方法和裝置

有效

• 申請號: 202110869682.X
• 申請日: 2021-07-30
• 公開（公告）號: CN113672215B
• 公開（公告）日: 2023-10-24
• 發明（設計）人: 于子淇;林立翔;游亮;龍欣;張尉東;卓鈞亮
• 申請（專利權）人: 阿里巴巴新加坡控股有限公司
• 主分類號: G06F8/35
• 分類號: G06F8/35;G06N20/00;G06F18/241
• 代理公司: 北京清源匯知識產權代理事務所(特殊普通合伙) 11644
• 代理人: 張艷梅;馮德魁

1.一種深度學習分布式訓練適配方法，其特征在于，包括：

對深度學習算法的原始代碼塊進行語義分析，得到原始代碼塊對應的分布式訓練的功能類別；

根據所述原始代碼塊對應的分布式訓練的功能類別和預設的正則庫，對所述原始代碼塊進行正則匹配，得到分布式框架代碼的模板文件；

對所述布式框架代碼的模板文件進行渲染，得到最終的深度學習分布式訓練代碼。

2.根據權利要求1所述的方法，其特征在于，還包括：

根據深度學習算法的原始代碼塊，得到所述原始代碼塊對應的分布式框架；

所述對深度學習算法的原始代碼塊進行語義分析，得到原始代碼塊對應的分布式訓練的功能類別，包括：

將所述原始代碼塊對應的分布式框架作為語義識別模型的一個特征，對深度學習算法的原始代碼塊進行語義分析，得到原始代碼塊對應的分布式訓練的功能類別。

3.根據權利要求1所述的方法，其特征在于，所述對深度學習算法的原始代碼塊進行語義分析，得到原始代碼塊對應的分布式訓練的功能類別，包括：

對深度學習算法的原始代碼塊進行向量化處理，得到深度學習算法的原始代碼塊的向量化表示；

將所述向量化表示輸入用于功能分類的分類模型，得到原始代碼塊對應的分布式訓練的功能類別。

4.根據權利要求3所述的方法，其特征在于，所述對深度學習算法的原始代碼塊進行向量化處理，得到深度學習算法的原始代碼塊的向量化表示，包括：

根據從深度學習框架和分布式訓練框架的代碼庫中提取的關鍵字，對深度學習算法的原始代碼塊進行向量化處理，得到深度學習算法的原始代碼塊的向量化表示。

5.根據權利要求1所述的方法，其特征在于，還包括：

獲得深度學習算法的原始代碼；

對所述深度學習算法的原始代碼進行預處理，得到深度學習算法的原始代碼塊。

6.根據權利要求5所述的方法，其特征在于，所述預處理包括以下至少一種操作：

分詞處理；

去停用詞處理；

去除冗余行。

7.根據權利要求1所述的方法，其特征在于，根據所述原始代碼塊對應的分布式訓練的功能類別和預設的正則庫，對所述原始代碼塊進行正則匹配，得到分布式框架代碼的模板文件，包括：

將所述原始代碼塊對應的分布式訓練的功能類別與預設的正則庫中的正則匹配規則進行匹配；

若所述原始代碼塊對應的分布式訓練的功能類別與正則匹配規則中的鍵相同，則將正則匹配規則中的值作為分布式框架代碼的正則匹配模板；

根據所述正則匹配模板，得到分布式框架代碼的模板文件。

8.根據權利要求7所述的方法，其特征在于，還包括：

根據已獲得的原始代碼塊對應的分布式訓練的功能類別及分布式框架代碼的正則匹配模板的對應關系，更新正則庫。

9.根據權利要求8所述的方法，其特征在于，所述根據已獲得的原始代碼塊對應的分布式訓練的功能類別及分布式框架代碼的正則匹配模板的對應關系，更新正則庫，包括：

在系統運行過程中，根據已獲得的原始代碼塊對應的分布式訓練的功能類別及分布式框架代碼的正則匹配模板的對應關系，修改正則庫的參數，得到更新的正則庫。

10.根據權利要求1所述的方法，其特征在于，所述對所述布式框架代碼的模板文件進行渲染，得到最終的深度學習分布式訓練代碼，包括：

對所述布式框架代碼的模板文件進行渲染，得到可執行的深度學習分布式訓練代碼；

對所述可執行的深度學習分布式訓練代碼進行測試，若測試結果為成功，則將可執行的深度學習分布式訓練代碼作為最終的深度學習分布式訓練代碼。