[發(fā)明專利]聯(lián)邦學習系統(tǒng)優(yōu)化方法、裝置、設備及存儲介質

在審

• 申請?zhí)枺?/td>: 202010022561.7
• 申請日: 2020-01-09
• 公開（公告）號: CN111222647A
• 公開（公告）日: 2020-06-02
• 發(fā)明（設計）人: 程勇;劉洋;陳天健
• 申請（專利權）人: 深圳前海微眾銀行股份有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00;G06K9/62
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 王韜

本發(fā)明公開了一種聯(lián)邦學習系統(tǒng)優(yōu)化方法、裝置、設備及存儲介質，所述方法包括：參與聯(lián)邦學習模型訓練獲得聯(lián)邦模型；采用預設訓練數據集和所述聯(lián)邦模型訓練得到本地模型和全模型，其中，所述全模型至少包括所述聯(lián)邦模型、所述本地模型和融合模型三部分，所述聯(lián)邦模型和所述本地模型的輸出連接所述融合模型的輸入；對所述聯(lián)邦模型、所述本地模型和所述全模型進行性能測試，基于性能測試結果選擇最終使用的模型。本發(fā)明實現(xiàn)了充分利用聯(lián)邦模型，不會浪費參與設備本地的計算資源，且因為結合了聯(lián)邦模型和本地模型，所獲得的全模型的性能很大可能要比本地模型的性能會更好，從而使得大部分參與設備能夠從聯(lián)邦學習中受益，提高了模型性能。

技術領域

本發(fā)明涉及機器學習技術領域，尤其涉及一種聯(lián)邦學習系統(tǒng)優(yōu)化方法、裝置、設備及存儲介質。

背景技術

目前，為實現(xiàn)保護聯(lián)合訓練模型的參與者的數據隱私安全，提出了聯(lián)邦學習的概念。聯(lián)邦學習是指通過聯(lián)合不同的參與者進行機器學習或者深度學習的方法，以構建共享的機器學習模型。在聯(lián)邦學習中，參與者并不需要向其它參與者和協(xié)調者暴露自己擁有的數據，因而聯(lián)邦學習可以很好的保護用戶隱私和保障數據安全。

然而，在實際應用聯(lián)邦學習的場景中，不同的參與者擁有的訓練數據的數據特征分布一般不同。例如，一個參與者A可能經常使用語句“我晚上九點鐘吃飯”，而另一個參與者B可能經常使用語句“我晚上九點鐘看書”，在訓練下一個輸入詞預測模型時，“我晚上九點鐘_______”，參與者A和B通過聯(lián)邦學習進行模型訓練獲得的模型可能就不會有很好的預測效果，分不清到底是預測“吃飯”還是“看書”。而如果是參與者A單獨進行模型訓練時，反而可以預測的更準確一些，總是預測“吃飯”。也就是說，由于參與者擁有的訓練數據的數據特征分布不同，參與者A和B通過聯(lián)邦學習聯(lián)合訓練的模型并不總是比參與者A或者B單獨訓練的機器學習模型的性能更好。則當參與者本地訓練得到的本地模型性能優(yōu)于聯(lián)邦模型時，參與者選擇使用本地模型，拋棄聯(lián)邦模型，將造成資源浪費，從而降低了參與者本地的計算資源利用率。

發(fā)明內容

本發(fā)明的主要目的在于提供一種聯(lián)邦學習系統(tǒng)優(yōu)化方法、裝置、設備及存儲介質，旨在解決當參與者本地訓練得到的本地模型性能優(yōu)于聯(lián)邦模型時，參與者選擇使用本地模型，拋棄聯(lián)邦模型，將造成資源浪費，從而降低了參與者本地的計算資源利用率的技術問題。

為實現(xiàn)上述目的，本發(fā)明提供一種聯(lián)邦學習系統(tǒng)優(yōu)化方法，應用于參與聯(lián)邦學習的參與設備，所述聯(lián)邦學習系統(tǒng)優(yōu)化方法包括：

參與聯(lián)邦學習模型訓練獲得聯(lián)邦模型；

采用預設訓練數據集和所述聯(lián)邦模型訓練得到本地模型和全模型，其中，所述全模型至少包括所述聯(lián)邦模型、所述本地模型和融合模型三部分，所述聯(lián)邦模型和所述本地模型的輸出連接所述融合模型的輸入；

對所述聯(lián)邦模型、所述本地模型和所述全模型進行性能測試，基于性能測試結果選擇最終使用的模型。

可選地，所述采用預設訓練數據集和所述聯(lián)邦模型訓練得到本地模型和全模型的步驟包括：

采用預設訓練數據集對待訓練本地模型進行訓練得到本地模型；

采用所述預設訓練數據集中的數據作為所述聯(lián)邦模型和所述本地模型的輸入，采用所述聯(lián)邦模型和所述本地模型的輸出作為待訓練融合模型的輸入，對所述待訓練融合模型進行訓練得到所述全模型。

可選地，所述采用預設訓練數據集和所述聯(lián)邦模型訓練得到本地模型和全模型的步驟包括：

采用所述預設訓練數據集中的數據作為所述聯(lián)邦模型和待訓練本地模型的輸入，采用所述聯(lián)邦模型和所述待訓練本地模型的輸出作為待訓練融合模型的輸入，對所述待訓練本地模型和所述待訓練融合模型進行訓練，得到所述本地模型和所述全模型。

可選地，所述對所述聯(lián)邦模型、所述本地模型和所述全模型進行性能測試，基于性能測試結果選擇最終使用的模型的步驟之后，還包括：