[發明專利]一種用于分布式模型訓練的訓練樣本重組方法及系統

有效

• 申請號: 202011082377.8
• 申請日: 2020-10-12
• 公開（公告）號: CN111931947B
• 公開（公告）日: 2021-02-05
• 發明（設計）人: 鄭龍飛;周俊;王力;陳超超
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00
• 代理公司: 成都七星天知識產權代理有限公司 51253
• 代理人: 袁春曉

本說明書一個或多個實施例涉及一種用于分布式模型訓練的訓練樣本重組方法及系統，所述方法由參與方中的服務器實現；所述方法包括：獲取融合訓練樣本集；所述融合訓練樣本集包括來自一個或多個訓練成員的訓練樣本；獲取第一模型，并將所述第一模型發送給各訓練成員；對各訓練成員進行一輪或多輪訓練樣本重組，其中每輪重組包括：獲取當前輪的傳輸比例系數；基于所述傳輸比例系數為各訓練成員選擇部分訓練樣本并下發；獲取各訓練成員上傳的當前輪對應的模型性能參數；所述當前輪對應的模型性能參數為訓練成員基于自身持有的訓練樣本以及服務器下發的訓練樣本進行訓練得到的模型的模型性能參數；確定進行下一輪重組，或者停止重組。

技術領域

本說明書一個或多個實施例涉及多方協同模型訓練，特別涉及一種用于分布式模型訓練的訓練樣本重組方法和系統。

背景技術

在數據分析、數據挖掘、經濟預測等領域，分布式模型訓練可以在保證多方數據安全的情況下，協同訓練機器學習模型供多方共同使用的場景。但是，在分布式模型訓練中，期望多方持有的數據集均是相同分布、數據特征之間相互獨立的。對于各方數據集非獨立同分布狀態（Non-IID）時，由于各方持有數據分布的不均勻性，采用分布式學習進行模型訓練會使得模型訓練過程產生偏差，進而影響訓練得到模型的整體性能。

因此，有必要提出一種用于分布式模型訓練的訓練樣本重組方法以降低各方數據分布不均勻的問題。

發明內容

本說明書一個方面提供一種用于分布式模型訓練的訓練樣本重組方法，所述方法由參與方中的服務器實現，其中，所述參與方包括多個訓練成員以及服務器；所述方法包括：獲取融合訓練樣本集；所述融合訓練樣本集包括來自一個或多個訓練成員的訓練樣本；獲取第一模型，并將所述第一模型發送給各訓練成員；對各訓練成員進行一輪或多輪訓練樣本重組，其中每輪重組包括：獲取當前輪的傳輸比例系數；基于所述傳輸比例系數為各訓練成員從所述融合訓練樣本集中選擇部分訓練樣本并下發；獲取各訓練成員上傳的當前輪對應的模型性能參數；所述當前輪對應的模型性能參數為訓練成員基于自身持有的訓練樣本以及服務器下發的訓練樣本進行模型訓練得到的模型的模型性能參數；確定進行下一輪重組，或者停止重組。

本說明書另一個方面提供一種基于分布式模型訓練的訓練樣本重組系統，所述系統由參與方中的服務器實現，其中，所述參與方包括多個訓練成員以及服務器；所述系統包括：融合訓練樣本集獲取模塊：用于獲取融合訓練樣本集；所述融合訓練樣本集包括來自一個或多個訓練成員的訓練樣本；第一初始模型獲取模塊：用于獲取第一模型，并將所述第一模型發送給各訓練成員；第一訓練樣本重組模塊：用于對各訓練成員進行一輪或多輪訓練樣本重組，其進一步包括以下單元以完成任一輪訓練樣本重組：傳輸比例系數獲取單元：用于獲取當前輪的傳輸比例系數；訓練樣本集下發單元：用于基于所述傳輸比例系數為各訓練成員從所述融合訓練樣本集中選擇部分訓練樣本并下發；模型性能參數獲取單元：用于獲取各訓練成員上傳的當前輪對應的模型性能參數；所述當前輪對應的模型性能參數為訓練成員基于自身持有的訓練樣本以及服務器下發的訓練樣本進行模型訓練得到的模型的模型性能參數；確定單元，用于確定進行下一輪重組，或者停止重組。

本說明書另一個方面提供一種基于分布式模型訓練的訓練樣本重組裝置，所述裝置包括處理器以及存儲器；所述存儲器用于存儲指令，所述處理器用于執行所述指令，以實現所述基于分布式模型訓練的訓練樣本重組的操作。