[發明專利]一種基于流水線并行的模型訓練方法、裝置以及設備

有效

• 申請號: 202110396491.6
• 申請日: 2021-04-13
• 公開（公告）號: CN113177632B
• 公開（公告）日: 2022-10-14
• 發明（設計）人: 楊鵬程;張曉明;楊明;魏宏
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京君慧知識產權代理事務所(普通合伙) 11716
• 代理人: 吳紹群

本說明書實施例公開了基于流水線并行的模型訓練方法。包括：根據正常訓練順序對待訓練模型進行切分，得到多個子切片；將正常訓練順序在前的一部分子切片劃分至第一組中，構成第一子模型，將剩余的子切片劃分至第二組中，構成第二子模型；將第一子模型包含的子切片分配給不同的工作方，以及將第二子模型包含的子切片分配給不同的工作方；根據調整得到的訓練順序，在被分配了子切片的工作方上為子切片分配訓練時間塊，訓練順序包括：針對單輪訓練樣本，依次執行第一子模型本周期的正向傳播、第一子模型前一周期的反向傳播、第二子模型本周期的正向傳播、第二子模型本周期的反向傳播；按照訓練時間塊，在多個工作方上對待訓練模型進行并行訓練。

技術領域

本說明書涉及機器學習技術領域，尤其涉及一種基于流水線并行的模型訓練方法、裝置以及設備。

背景技術

近年來，深度學習已極大地推動了人工智能技術的發展，在很多領域已獲得良好的效果。然而，隨著人工智能技術的發展，模型的參數規模也越來越大，其增長速度甚至已遠超過硬件處理性能的增長速度。

為了解決這個矛盾，模型并行技術逐漸受到研究者們的重視。模型并行可以將一個大規模模型劃分為多個模型切片，并分配到不同的工作機上，從而實現大規模模型的訓練或者推理。傳統的模型并行技術，同一時刻只能保證一個工作機運行，其他的空置。

基于此，還需要效率更高的模型并行訓練的方案。

發明內容

本說明書一個或多個實施例提供一種基于流水線并行的模型訓練方法、裝置、設備以及存儲介質，用以解決如下技術問題：需要效率更高的模型并行訓練的方案。

為解決上述技術問題，本說明書一個或多個實施例是這樣實現的：

本說明書一個或多個實施例提供的一種基于流水線并行的模型訓練方法，包括：

根據正常訓練順序對待訓練模型進行切分，得到多個子切片；

將正常訓練順序在前的一部分所述子切片劃分至第一組中，構成第一子模型，將剩余的所述子切片劃分至第二組中，構成第二子模型；

將所述第一子模型包含的子切片分配給不同的工作方，以及將所述第二子模型包含的子切片分配給不同的工作方；

根據調整得到的訓練順序，在被分配了子切片的工作方上為所述子切片分配訓練時間塊，所述訓練順序包括：針對單輪訓練樣本，依次執行所述第一子模型本周期的正向傳播、所述第一子模型前一周期的反向傳播、所述第二子模型本周期的正向傳播、所述第二子模型本周期的反向傳播；

按照所述訓練時間塊，在多個所述工作方上對所述待訓練模型進行并行訓練。

本說明書一個或多個實施例提供的一種基于流水線并行的模型訓練裝置，包括：

子切片切分模塊，根據正常訓練順序對待訓練模型進行切分，得到多個子切片；

子模型構成模塊，將正常訓練順序在前的一部分所述子切片劃分至第一組中，構成第一子模型，將剩余的所述子切片劃分至第二組中，構成第二子模型；

子模型分配模塊，將所述第一子模型包含的子切片分配給不同的工作方，以及將所述第二子模型包含的子切片分配給不同的工作方；

訓練時間塊分配模塊，根據調整得到的訓練順序，在被分配了子切片的工作方上為所述子切片分配訓練時間塊，所述訓練順序包括：針對單輪訓練樣本，依次執行所述第一子模型本周期的正向傳播、所述第一子模型前一周期的反向傳播、所述第二子模型本周期的正向傳播、所述第二子模型本周期的反向傳播；

并行訓練模塊，按照所述訓練時間塊，在多個所述工作方上對所述待訓練模型進行并行訓練。

本說明書一個或多個實施例提供的一種基于流水線并行的模型訓練設備，包括：