[發明專利]深度學習模型的訓練方法、裝置、電子設備及存儲介質

有效

• 申請號: 202211383327.2
• 申請日: 2022-11-07
• 公開（公告）號: CN115860114B
• 公開（公告）日: 2023-09-08
• 發明（設計）人: 劉雨昂;曾錦樂;吳志華;丁佃海
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06N3/098
• 分類號: G06N3/098;G06F9/50
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張潤

本公開提供了一種深度學習模型的訓練方法、裝置、電子設備及存儲介質，涉及計算機技術領域，尤其涉及深度學習等人工智能技術領域。具體實現方案為：在圖形處理器GPU集群對深度學習模型第n次訓練結束后，向GPU集群中每個GPU發送參數廣播消息，在接收到第一GPU發送的參數廣播完成消息的情況下，控制GPU集群啟動對深度學習模型的第n+1次訓練，其中，第一GPU關聯的第一目標參數為深度學習模型在前向訓練過程中最先使用的目標參數。由此，可以使GPU集群中每個GPU在對目標參數進行廣播或接收的同時，啟動下一次的迭代訓練，實現了目標參數的廣播或接收與下一次迭代訓練并行，不僅提高了GPU資源的利用率，而且提高了深度學習模型的訓練效率。

技術領域

本公開涉及計算機技術領域，尤其涉及深度學習等人工智能技術領域，具體涉及一種深度學習模型的訓練方法、裝置、電子設備及存儲介質。

背景技術

近幾年來，大數據驅動的深度學習技術在人工智能的多個領域均取得了可觀的性能提升，神經網絡模型越來越深，數據規模越來越大已成為目前的基本趨勢。復雜的網絡模型往往需要更多的訓練數據才可獲得優秀的泛化能力，然而，訓練深模型、大數據這樣的組合卻有著極大的挑戰。深度學習訓練任務屬于典型的計算密集型任務，因此常采用分布式GPU(Graphics?Processing?Unit圖形處理器)集群進行訓練。

因此，如何提高基于分布式GPU集群進行訓練的模型的訓練效率成為目前重點的研究方向。

發明內容

本公開提供了一種深度學習模型的訓練方法、裝置、電子設備及存儲介質。

根據本公開的第一方面，提供了一種深度學習模型的訓練方法，包括：

在圖形處理器GPU集群對深度學習模型第n次訓練結束后，向所述GPU集群中每個GPU發送參數廣播消息，其中n為正整數；

在接收到第一GPU發送的參數廣播完成消息的情況下，控制所述GPU集群啟動對所述深度學習模型的第n+1次訓練，其中，所述第一GPU關聯的第一目標參數為所述深度學習模型在前向訓練過程中最先使用的目標參數。

根據本公開的第二方面，提供了一種深度學習模型的訓練裝置，包括：

發送模塊，用于在圖形處理器GPU集群對深度學習模型第n次訓練結束后，向所述GPU集群中每個GPU發送參數廣播消息，其中,n為正整數；

控制模塊，用于在接收到第一GPU發送的參數廣播完成消息的情況下，控制所述GPU集群啟動對所述深度學習模型的第n+1次訓練，其中，所述第一GPU關聯的第一目標參數為所述深度學習模型在前向訓練過程中最先使用的目標參數。

根據本公開的第三方面，提供了一種電子設備，包括：

至少一個處理器；以及

與所述至少一個處理器通信連接的存儲器；其中，

所述存儲器存儲有可被所述至少一個處理器執行的指令，所述指令被所述至少一個處理器執行，以使所述至少一個處理器能夠執行如第一方面所述的深度學習模型的訓練方法。

根據本公開第四方面，提供了一種存儲有計算機指令的非瞬時計算機可讀存儲介質，所述計算機指令用于使所述計算機執行如第一方面所述的深度學習模型的訓練方法。

根據本公開的第五方面，提供了一種計算機程序產品，包括計算機指令，所述計算機指令在被處理器執行時實現如第一方面所述的深度學習模型的訓練方法的步驟。

本公開提供的深度學習模型的訓練方法、裝置、電子設備及存儲介質，存在如下有益效果：