[發明專利]模型訓練方法和裝置、業務預測方法和裝置在審
| 申請號： | 202210150940.3 | 申請日： | 2022-02-18 |
| 公開（公告）號： | CN114676845A | 公開（公告）日： | 2022-06-28 |
| 發明（設計）人： | 劉文鑫 | 申請（專利權）人： | 支付寶（杭州）信息技術有限公司 |
| 主分類號： | G06N20/00 | 分類號： | G06N20/00 |
| 代理公司： | 濟南信達專利事務所有限公司 37100 | 代理人： | 李世喆 |
| 地址： | 310000 浙江省杭州市*** | 國省代碼： | 浙江;33 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 模型 訓練 方法 裝置 業務 預測 | ||
本說明書實施例提供了基于聯邦機器學習的模型訓練方法、業務預測方法以及裝置。該方法中包括：利用本地的私有數據訓練公有模型；將該公有模型上傳給服務器；接收服務器下發的全局模型；該全局模型由服務器根據至少兩個參與方上傳的公有模型聚合得到；利用全局模型更新本地的公有模型；利用本地的私有數據以及更新后的公有模型，訓練私有模型。本說明書實施例的方法及裝置能夠更好地適用于參與方的本地業務。
技術領域
本說明書一個或多個實施例涉及計算機技術，尤其涉及基于聯邦機器學習的私有模型訓練方法和裝置、業務預測方法和裝置。
背景技術
聯邦機器學習是一個具有隱私保護效果的分布式機器學習框架，能有效幫助多個參與方在滿足隱私保護、數據安全和政府法規的要求下，進行數據使用和機器學習建模。聯邦機器學習作為分布式的機器學習范式，可以有效解決數據孤島問題，讓參與方在不共享數據的基礎上聯合建模，實現智能協作，共同訓練一個性能較好的全局模型。
然而目前，在基于聯邦機器學習進行建模時，未考慮各個參與方之間的數據異構的問題，導致建立的模型無法更好地適用于參與方的本地業務。
發明內容
本說明書一個或多個實施例描述了基于聯邦機器學習的私有模型訓練方法和裝置、業務預測方法和裝置，能夠更好地適用于參與方的本地業務。
根據第一方面，提供了一種基于聯邦機器學習的模型訓練方法，包括：
利用本地的私有數據訓練公有模型；
將該公有模型上傳給服務器；
接收服務器下發的全局模型；該全局模型由服務器根據至少兩個參與方上傳的公有模型聚合得到；
利用全局模型更新本地的公有模型；
利用本地的私有數據以及更新后的公有模型，訓練私有模型。
其中，
所述接收服務器下發的全局模型包括：在對全局模型的每一輪迭代訓練中，接收服務器下發的本輪全局模型，直至全局模型收斂；
所述利用全局模型更新本地的公有模型，包括：在接收到的全局模型未收斂時，利用本地的私有數據以及接收到的上一輪全局模型進行訓練，得到本輪更新后的公有模型，將本輪更新后的公有模型上傳給服務器；在接收到的全局模型收斂時，將該收斂的全局模型作為更新后的公有模型；
所述利用本地的私有數據以及更新后的公有模型訓練私有模型，包括：在對私有模型的每一輪的迭代訓練中，利用本地的私有數據以及最新更新后的公有模型，訓練私有模型，直至該私有模型收斂。
其中，所述利用本地的私有數據以及更新后的公有模型訓練私有模型，包括：利用本地的私有數據，對更新后的公有模型進行知識蒸餾，以訓練私有模型。
其中，所述私有模型的訓練過程包括：
利用具有第一權重值的第一損失函數以及具有第二權重值的第二損失函數訓練所述私有模型；
通過調整第一權重值和/或第二權重值，控制所述私有模型的訓練方向；
其中，
所述第一損失函數表征：利用第一輸出與第二輸出計算KL散度(Kullback–Leibler divergence)；其中，第一輸出是將第一本地私有數據輸入最新更新后的公有模型后得到的；第二輸出是將第一本地私有數據輸入當前訓練的私有模型后得到的；
所述第二損失函數表征：利用第二本地私有數據及對該第二本地私有數據的標簽，計算交叉熵損失。
其中，所述通過調整第一權重值和/或第二權重值控制所述私有模型的訓練方向，包括：
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于支付寶（杭州）信息技術有限公司，未經支付寶（杭州）信息技術有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202210150940.3/2.html，轉載請聲明來源鉆瓜專利網。
