[發明專利]模型的分布式訓練方法、裝置和系統

在審

• 申請號: 202010018911.2
• 申請日: 2020-01-08
• 公開（公告）號: CN113094168A
• 公開（公告）日: 2021-07-09
• 發明（設計）人: 蔣豐澤;李傳勇;王興達
• 申請（專利權）人: 北京奇虎科技有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F9/54;G06N20/00
• 代理公司: 北京恒博知識產權代理有限公司 11528
• 代理人: 范勝祥

1.一種模型的分布式訓練方法，其中，所述方法應用于對等網絡的節點中，所述方法包括：

由本節點上的參數服務器角色存儲模型的至少部分參數，以使所述對等網絡中的全部參數服務器角色共同存儲所述模型的全部參數；

在每輪訓練開始時，由本節點上的工作者角色從各節點上的參數服務器角色拉取模型的最新參數，根據本輪訓練的訓練數據以及根據所述最新參數計算梯度更新，并在該輪訓練結束后，將計算得到的梯度更新發送給各節點上的參數服務器角色。

2.如權利要求1所述的方法，其中，所述由本節點上的參數服務器角色存儲模型的至少部分參數包括：

在內存中存儲參數，以及在外部存儲器中以檢查點機制備份存儲相應的參數；

該方法還包括：

在本節點中的訓練進程崩潰時，利用所述外部存儲器中存儲的參數恢復訓練進程。

3.如權利要求1所述的方法，其中，節點間的通信使用TCP協議。

4.如權利要求1所述的方法，其中，角色間的通信是基于ZeroMQ消息隊列實現的。

5.一種模型的分布式訓練裝置，其中，所述裝置應用于對等網絡的節點中，所述裝置包括：

參數服務器單元，適于存儲模型的至少部分參數，以使所述對等網絡中的全部參數服務器單元共同存儲所述模型的全部參數；

工作者單元，適于在每輪訓練開始時，從各節點上的參數服務器單元拉取模型的最新參數，根據本輪訓練的訓練數據以及根據所述最新參數計算梯度更新，并在該輪訓練結束后，將計算得到的梯度更新發送給各節點上的參數服務器單元。

6.如權利要求5所述的裝置，其中，

所述參數服務器單元，適于在內存中存儲參數，以及在外部存儲器中以檢查點機制備份存儲相應的參數；

該裝置還包括：

容錯單元，適于在本節點中的訓練進程崩潰時，利用所述外部存儲器中存儲的參數恢復訓練進程。

7.如權利要求5所述的裝置，其中，節點間的通信使用TCP協議。

8.一種模型的分布式訓練系統，包括：構成對等網絡的多個節點，各節點中部署有如權利要求5-7中任一項所述的模型的分布式訓練裝置。

9.一種電子設備，其中，該電子設備包括：處理器；以及被安排成存儲計算機可執行指令的存儲器，所述可執行指令在被執行時使所述處理器執行如權利要求1-4中任一項所述的方法。

10.一種計算機可讀存儲介質，其中，所述計算機可讀存儲介質存儲一個或多個程序，所述一個或多個程序當被處理器執行時，實現如權利要求1-4中任一項所述的方法。