[發(fā)明專利]一種輕量級分布式聯(lián)邦學(xué)習(xí)系統(tǒng)及方法

在審

• 申請?zhí)枺?/td>: 202011102138.4
• 申請日: 2020-10-15
• 公開（公告）號: CN112232518A
• 公開（公告）日: 2021-01-15
• 發(fā)明（設(shè)計(jì)）人: 顧見軍;鄧旭宏;周宇峰
• 申請（專利權(quán)）人: 成都數(shù)融科技有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00
• 代理公司: 成都熠邦鼎立專利代理有限公司 51263
• 代理人: 李曉英

本發(fā)明公開了一種輕量級分布式聯(lián)邦學(xué)習(xí)系統(tǒng)及方法，包括主控制端節(jié)點(diǎn)和多個協(xié)同端節(jié)點(diǎn)，特征處理模塊：用于主控制端通過特征預(yù)處理接口，調(diào)度各協(xié)同端節(jié)點(diǎn)進(jìn)行聯(lián)合特征處理；模型訓(xùn)練模塊：用于主控制端通過模型訓(xùn)練接口，調(diào)度各協(xié)同端節(jié)點(diǎn)進(jìn)行聯(lián)邦學(xué)習(xí)的模型訓(xùn)練；模型評估模塊：用于主控制端通過模型評估接口，聚合各協(xié)同端節(jié)點(diǎn)的預(yù)測結(jié)果并評估模型性能。本發(fā)明的有益效果在于：本發(fā)明通過特征處理、模型訓(xùn)練、模型評估模塊，快速集成各類開源機(jī)器學(xué)習(xí)庫；無論聯(lián)邦學(xué)習(xí)模型是否使用梯度訓(xùn)練，都可使用此框架，針對不同業(yè)務(wù)，開發(fā)周期和開發(fā)成本低，能迅速落地，且能保障各參與方的數(shù)據(jù)安全。

技術(shù)領(lǐng)域

本發(fā)明涉及機(jī)器學(xué)習(xí)領(lǐng)域，尤其涉及一種輕量級分布式聯(lián)邦學(xué)習(xí)系統(tǒng)及方法。

背景技術(shù)

隨著大數(shù)據(jù)時代的發(fā)展，數(shù)據(jù)安全越來越被重視，法規(guī)也在不斷完善。由于聯(lián)邦學(xué)習(xí)技術(shù)能保障數(shù)據(jù)隱私和安全，因此也越來越被重視。聯(lián)邦學(xué)習(xí)是指多個客戶端進(jìn)行聯(lián)合建模(機(jī)器學(xué)習(xí)或者深度學(xué)習(xí)模型)，并且在整個學(xué)習(xí)過程中，客戶端的數(shù)據(jù)并未將本地?cái)?shù)據(jù)暴露給其他方，能夠保證數(shù)據(jù)隱私和安全。

現(xiàn)有聯(lián)邦學(xué)習(xí)技術(shù)中，模型訓(xùn)練大多是基于梯度值訓(xùn)練，也就是說會依賴能進(jìn)行梯度訓(xùn)練的模型，對于不滿足梯度訓(xùn)練的模型，每次需要重新定制聯(lián)邦學(xué)習(xí)流程，效率有待提高；對于不同業(yè)務(wù)，定制聯(lián)邦學(xué)習(xí)算法流程的效率也有待提高。并且，現(xiàn)有技術(shù)需要重新實(shí)現(xiàn)底層、無法重用現(xiàn)有大量開源庫。

發(fā)明內(nèi)容

本發(fā)明提供一種輕量級分布式聯(lián)邦學(xué)習(xí)框架及實(shí)現(xiàn)方法，用以解決現(xiàn)有聯(lián)邦學(xué)習(xí)需要重新實(shí)現(xiàn)底層、無法重用現(xiàn)有大量開源庫，不滿足梯度訓(xùn)練的模型定制聯(lián)邦學(xué)習(xí)效率低以及不同業(yè)務(wù)定制聯(lián)邦學(xué)習(xí)效率低的問題。

本發(fā)明通過以下技術(shù)方案實(shí)現(xiàn)：

一種輕量級分布式聯(lián)邦學(xué)習(xí)系統(tǒng)，包括主控制端節(jié)點(diǎn)和多個協(xié)同端節(jié)點(diǎn)，其中，還包括：

特征處理模塊：用于主控制端節(jié)點(diǎn)通過特征預(yù)處理接口，調(diào)度各協(xié)同端節(jié)點(diǎn)進(jìn)行聯(lián)合特征處理；

模型訓(xùn)練模塊：用于主控制端節(jié)點(diǎn)通過模型訓(xùn)練接口，調(diào)度各協(xié)同端節(jié)點(diǎn)進(jìn)行聯(lián)邦學(xué)習(xí)的模型訓(xùn)練；

模型評估模塊：用于主控制端節(jié)點(diǎn)通過模型評估接口，聚合各協(xié)同端節(jié)點(diǎn)的預(yù)測結(jié)果并評估模型性能；

所述主控制端節(jié)點(diǎn)通過加密通信通道與多個協(xié)同端節(jié)點(diǎn)進(jìn)行通信。

進(jìn)一步的，所述特征預(yù)處理接口具體包括：

預(yù)處理中間接口：主控制端將聯(lián)邦學(xué)習(xí)配置信息分發(fā)至協(xié)同端，調(diào)度協(xié)同端根據(jù)配置信息分割數(shù)據(jù)集，對本地樣本的局部特征預(yù)處理中間指標(biāo)進(jìn)行計(jì)算，并返回計(jì)算的中間指標(biāo)；

聚合預(yù)處理中間指標(biāo)接口：主控制端通過對各協(xié)同端的特征預(yù)處理中間指標(biāo)進(jìn)行聚合處理，得到聚合的特征預(yù)處理指標(biāo)；

預(yù)處理同步接口：主控制端將聚合的特征預(yù)處理指標(biāo)分發(fā)至協(xié)同端，調(diào)度協(xié)同端根據(jù)聚合特征預(yù)處理指標(biāo)，在本地構(gòu)建預(yù)處理器；

預(yù)處理接口：協(xié)同端通過構(gòu)建的預(yù)處理器，分別對本地訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)進(jìn)行數(shù)據(jù)預(yù)處理。

進(jìn)一步的，所述模型訓(xùn)練接口具體包括：

協(xié)同節(jié)點(diǎn)模型訓(xùn)練接口：主控制端將模型訓(xùn)練參數(shù)分發(fā)至協(xié)同端，協(xié)同端通過預(yù)處理器進(jìn)行預(yù)處理，按模型訓(xùn)練參數(shù)的要求訓(xùn)練單模型或者交叉驗(yàn)證的多模型，并返回訓(xùn)練后的模型參數(shù)；

聯(lián)邦模型訓(xùn)練接口：主控制端配置模型訓(xùn)練參數(shù)，動態(tài)調(diào)度各協(xié)同端節(jié)點(diǎn)的模型訓(xùn)練接口；各協(xié)同端節(jié)點(diǎn)都完成一次訓(xùn)練后，主控制端節(jié)點(diǎn)完成協(xié)同訓(xùn)練，得到最終的聯(lián)邦模型參數(shù)。

進(jìn)一步的，所述模型評估接口具體包括：

模型同步接口：主控制端把聯(lián)邦模型參數(shù)分發(fā)至協(xié)同端，要求協(xié)同端同步使用統(tǒng)一的聯(lián)邦模型；