[發明專利]用于執行多機器學習任務的分布式系統及其方法

在審

• 申請號: 202210960020.8
• 申請日: 2019-08-16
• 公開（公告）號: CN115345318A
• 公開（公告）日: 2022-11-15
• 發明（設計）人: 鄭淇木;焦英翔;石光川
• 申請（專利權）人: 第四范式（北京）技術有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00
• 代理公司: 北京銘碩知識產權代理有限公司 11286
• 代理人: 徐璐璐;蘇銀虹

1.一種用于執行多機器學習任務的分布式系統，包括：

多個計算裝置，被配置為分別獲取指定數據集的不同部分數據，并共同執行多個機器學習任務；

其中，每個計算裝置被配置為：基于自身所獲取的部分數據并行地執行所述多個機器學習任務，其中，所述多個機器學習任務為多個模型訓練任務或多個模型預測任務。

2.如權利要求1所述的分布式系統，其中，

每個計算裝置被配置為：一方面從數據源請求所述指定數據集中的數據，并對請求到的數據進行預處理后保存在本地，另一方面讀取本地保存的數據，并基于讀取的數據執行所述多個機器學習任務。

3.如權利要求2所述的分布式系統，其中，

每個計算裝置被配置為：基于讀取的每一條數據，并行地執行所述多個機器學習任務中需要使用該條數據的機器學習任務。

4.如權利要求3所述的分布式系統，其中，

每個計算裝置被配置為：基于讀取的每一條數據，使用向量化指令并行地執行所述多個機器學習任務中需要使用該條數據的機器學習任務。

5.如權利要求1所述的分布式系統，還包括：

參數服務器，被配置為維護所述多個機器學習任務所涉及的多個機器學習模型的參數，其中，機器學習模型的參數具有鍵值對的形式，

其中，參數服務器被配置為：按照單個鍵對應于多個值的形式對所述多個機器學習模型的參數進行相同鍵合并后保存，或者，按照單個鍵對應于多個值的形式對所述多個機器學習模型的參數進行相同鍵合并，并對合并后的結果按照第一壓縮方式進行壓縮后保存。

6.如權利要求5所述的分布式系統，其中，當所述多個機器學習任務為所述多個模型訓練任務時，

每個計算裝置被配置為：將被合并了的訓練所述多個機器學習模型所得到的結果提供給參數服務器，或者，將被合并且被按照第二壓縮方式壓縮了的訓練所述多個機器學習模型所得到的結果提供給參數服務器，以使參數服務器更新所述多個機器學習模型的參數，

其中，所述結果按照單個鍵對應于多個值的形式被合并。

7.如權利要求5所述的分布式系統，其中，

參數服務器被配置為：將被合并了的每個計算裝置所需的所述多個機器學習模型的參數提供給每個計算裝置，或者，將被合并且被按照第三壓縮方式壓縮了的每個計算裝置所需的所述多個機器學習模型的參數提供給每個計算裝置。

8.如權利要求5所述的分布式系統，其中，當所述多個機器學習任務為所述多個模型訓練任務時，

參數服務器被配置為：在每個計算裝置執行所述多個機器學習任務的過程中，對計算裝置訓練一個機器學習模型時產生的能夠用于其他機器學習模型的中間計算結果進行保存，以將所述中間計算結果用于所述其他機器學習模型。

9.如權利要求8所述的分布式系統，其中，所述一個機器學習模型和所述其他機器學習模型所對應的超參數中僅訓練輪數不同，其中，所述一個機器學習模型所對應的訓練輪數大于所述其他機器學習模型所對應的訓練輪數，

其中，參數服務器被配置為：將計算裝置在訓練所述一個機器學習模型的過程中，訓練輪數達到所述其他機器學習模型所對應的訓練輪數時所得到的所述一個機器學習模型的參數，作為所述其他機器學習模型的參數。

10.一種利用分布式系統來執行多機器學習任務的方法，其中，所述分布式系統包括多個計算裝置，其中，所述方法包括：

所述多個計算裝置分別獲取指定數據集的不同部分數據；

所述多個計算裝置基于所獲取的部分數據，共同執行多個機器學習任務，其中，每個計算裝置基于自身所獲取的部分數據并行地執行所述多個機器學習任務，

其中，所述多個機器學習任務為多個模型訓練任務或多個模型預測任務。