[發(fā)明專利]一種用于分布式模型訓練的訓練樣本重組方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202011082377.8
• 申請日: 2020-10-12
• 公開（公告）號: CN111931947B
• 公開（公告）日: 2021-02-05
• 發(fā)明（設(shè)計）人: 鄭龍飛;周俊;王力;陳超超
• 申請（專利權(quán)）人: 支付寶（杭州）信息技術(shù)有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00
• 代理公司: 成都七星天知識產(chǎn)權(quán)代理有限公司 51253
• 代理人: 袁春曉

1.一種用于分布式模型訓練的訓練樣本重組方法，所述方法由參與方中的服務器實現(xiàn)，其中，所述參與方包括多個訓練成員以及服務器；所述方法包括：

獲取融合訓練樣本集；所述融合訓練樣本集包括來自一個或多個訓練成員的訓練樣本；

獲取第一模型，并將所述第一模型發(fā)送給各訓練成員；

對各訓練成員進行一輪或多輪訓練樣本重組，其中每輪重組包括：

獲取當前輪的傳輸比例系數(shù)；

基于所述傳輸比例系數(shù)為各訓練成員從所述融合訓練樣本集中選擇部分訓練樣本并下發(fā)；

獲取各訓練成員上傳的當前輪對應的模型性能參數(shù)；所述當前輪對應的模型性能參數(shù)為訓練成員基于自身持有的訓練樣本以及服務器下發(fā)的訓練樣本進行模型訓練得到的模型的模型性能參數(shù)；

確定進行下一輪重組，或者停止重組。

2.根據(jù)權(quán)利要求1所述的方法，所述獲取第一模型，包括：

利用所述融合訓練樣本集對初始模型進行訓練，得到所述第一模型。

3.根據(jù)權(quán)利要求1所述的方法，所述獲取當前輪的傳輸比例系數(shù)，包括：

通過搜索算法獲取所述傳輸比例系數(shù)。

4.根據(jù)權(quán)利要求1所述的方法，在每輪重組過程中，所述當前輪對應的模型性能參數(shù)為訓練成員利用自身持有的訓練樣本以及當前輪服務器下發(fā)的訓練樣本訓練所述第一模型得到的模型的模型性能參數(shù)。

5.根據(jù)權(quán)利要求1所述的方法，所述確定進行下一輪重組，或者停止重組，包括：

若重組輪數(shù)小于設(shè)定閾值，則確定進行下一輪重組；否則，停止重組。

6.根據(jù)權(quán)利要求5所述的方法，當確定停止重組后，還包括：

計算來自各訓練成員的當前輪對應的模型性能參數(shù)的平均值，得到當前輪對應的平均性能；

獲取此前多輪重組所計算的平均性能；

將最優(yōu)平均性能對應的重組輪次中各訓練成員的訓練樣本重組結(jié)果確定為最終的重組結(jié)果。

7.根據(jù)權(quán)利要求1所述的方法，所述確定進行下一輪重組，或者停止重組，包括：

基于各訓練成員的當前輪對應的模型性能參數(shù)確定預設(shè)條件是否被滿足；若被滿足，則停止重組并將當前輪中各訓練成員的訓練樣本重組結(jié)果確定為最終的重組結(jié)果；否則，確定進行下一輪重組。

8.根據(jù)權(quán)利要求6或7所述的方法，所述方法還包括：

通知各訓練成員最終的重組結(jié)果對應的重組輪次。

9.根據(jù)權(quán)利要求1所述的方法，各訓練成員上傳給服務器的訓練樣本、服務器下發(fā)給訓練成員的訓練樣本以及各訓練成員上傳給服務器的當前輪對應的模型性能參數(shù)均以密文形式傳輸。

10.一種基于分布式模型訓練的訓練樣本重組系統(tǒng)，所述系統(tǒng)由參與方中的服務器實現(xiàn)，其中，所述參與方包括多個訓練成員以及服務器；所述系統(tǒng)包括：

融合訓練樣本集獲取模塊：用于獲取融合訓練樣本集；所述融合訓練樣本集包括來自一個或多個訓練成員的訓練樣本；

第一初始模型獲取模塊：用于獲取第一模型，并將所述第一模型發(fā)送給各訓練成員；

第一訓練樣本重組模塊：用于對各訓練成員進行一輪或多輪訓練樣本重組，其進一步包括以下單元以完成任一輪訓練樣本重組：

傳輸比例系數(shù)獲取單元：用于獲取當前輪的傳輸比例系數(shù)；

訓練樣本下發(fā)單元：用于基于所述傳輸比例系數(shù)為各訓練成員從所述融合訓練樣本集中選擇部分訓練樣本并下發(fā)；

模型性能參數(shù)獲取單元：用于獲取各訓練成員上傳的當前輪對應的模型性能參數(shù)；所述當前輪對應的模型性能參數(shù)為訓練成員基于自身持有的訓練樣本以及服務器下發(fā)的訓練樣本進行模型訓練得到的模型的模型性能參數(shù)；

確定單元，用于確定進行下一輪重組，或者停止重組。