[發(fā)明專利]面向聯(lián)邦機(jī)器學(xué)習(xí)的全流程服務(wù)遷移方法與系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110290587.4
• 申請(qǐng)日: 2021-03-18
• 公開（公告）號(hào): CN112884165B
• 公開（公告）日: 2023-07-04
• 發(fā)明（設(shè)計(jì)）人: 邢廷炎;周長(zhǎng)兵;楊艷霞
• 申請(qǐng)（專利權(quán)）人: 中國(guó)地質(zhì)大學(xué)（北京）
• 主分類號(hào): G06N20/00
• 分類號(hào): G06N20/00;G06F18/25;G06N3/098;G06F16/215
• 代理公司: 北京君莫知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11715
• 代理人: 崔云鶴

本發(fā)明公開了一種面向聯(lián)邦機(jī)器學(xué)習(xí)的全流程服務(wù)遷移系統(tǒng)，包括分布在不同地址的多個(gè)設(shè)備(1)；每個(gè)設(shè)備(1)包括相應(yīng)的模型創(chuàng)建模塊(2)、數(shù)據(jù)清理模塊(3)、數(shù)據(jù)傳感模塊(6)和數(shù)據(jù)讀取模塊(11)；所述數(shù)據(jù)創(chuàng)建模塊(2)和所述數(shù)據(jù)傳感模塊(6)數(shù)據(jù)通信連接；所述聯(lián)邦機(jī)器學(xué)習(xí)調(diào)度模塊(10)從所有設(shè)備上的所述單機(jī)存儲(chǔ)模塊(7)任意抽取一定數(shù)量的數(shù)據(jù)記錄，用于對(duì)所述總的所述數(shù)據(jù)聯(lián)邦模型進(jìn)行校驗(yàn)。本發(fā)明的面向聯(lián)邦機(jī)器學(xué)習(xí)的全流程服務(wù)遷移方法與系統(tǒng)，本申請(qǐng)?jiān)谶M(jìn)行數(shù)據(jù)記錄訓(xùn)練前，對(duì)數(shù)據(jù)記錄進(jìn)行數(shù)據(jù)清理，以便剔除數(shù)據(jù)記錄異常的部分，以便保證數(shù)據(jù)記錄的準(zhǔn)確性，從而保證數(shù)據(jù)模型的準(zhǔn)確。

技術(shù)領(lǐng)域

本發(fā)明涉及在計(jì)算機(jī)算法技術(shù)領(lǐng)域，具體為一種面向聯(lián)邦機(jī)器學(xué)習(xí)的全流程服務(wù)遷移方法與系統(tǒng)。

背景技術(shù)

21世紀(jì)是智能化的時(shí)代。隨著科學(xué)技術(shù)的快速發(fā)展，人類社會(huì)的生產(chǎn)和生活都得到了極大的提高，而依賴于技術(shù)的進(jìn)步，很多原來更多依賴人力的技術(shù)開始走向自動(dòng)化的操作，但是自動(dòng)化的操作通常需要計(jì)算機(jī)或者微型計(jì)算機(jī)去處理眾多的邏輯關(guān)系，因此，其需要進(jìn)行大量的數(shù)學(xué)計(jì)算和邏輯計(jì)算，這必然會(huì)提高對(duì)處理器的邏輯計(jì)算能力需求，而大規(guī)模集成電路或超大規(guī)模集成電路的運(yùn)算處理能力，也直接影響到了其生產(chǎn)成本。而對(duì)有智能化的計(jì)算和人工智能的發(fā)展，其對(duì)處理器的運(yùn)算處理能力需求進(jìn)一步加強(qiáng)，因此，為了適應(yīng)于大規(guī)模的計(jì)算和運(yùn)算處理能力，一方面，需要提升處理器的自身處理能力，另外一方面，希望降低對(duì)運(yùn)算能力的需求，即優(yōu)化人工智能的運(yùn)算處理需求，因此，現(xiàn)今，也一直有大量的研究針對(duì)算法，已通過算法去改進(jìn)計(jì)算模型，降低運(yùn)算的需求。另外一方面，對(duì)各種智能設(shè)備來說，為了實(shí)現(xiàn)各種智能化處理的技術(shù)效果，需要聯(lián)合各傳感設(shè)備或各機(jī)構(gòu)的數(shù)據(jù)，進(jìn)行綜合邏輯計(jì)算后，進(jìn)行匯總后作出綜合判斷，但要將分散在各地的數(shù)據(jù)進(jìn)行整合在巨大的困難和經(jīng)濟(jì)成本，而目前也存在對(duì)分布在各地的數(shù)據(jù)進(jìn)行聯(lián)合訪問和處理的技術(shù)，如聯(lián)邦機(jī)器學(xué)習(xí)，又名聯(lián)邦學(xué)習(xí)，聯(lián)合學(xué)習(xí)，聯(lián)盟學(xué)習(xí)，聯(lián)邦機(jī)器學(xué)習(xí)是一個(gè)機(jī)器學(xué)習(xí)框架，能有效幫助多個(gè)機(jī)構(gòu)在滿足用戶隱私保護(hù)、數(shù)據(jù)安全和政府法規(guī)的要求下，進(jìn)行數(shù)據(jù)使用和機(jī)器學(xué)習(xí)建模；

如專利CN?111126609A公開了一種基于聯(lián)邦學(xué)習(xí)的知識(shí)遷移方法、裝置、設(shè)備和介質(zhì)，其首先進(jìn)行各不同訓(xùn)練任務(wù)的各強(qiáng)化學(xué)習(xí)訓(xùn)練模型的接收，進(jìn)而進(jìn)行對(duì)各所述預(yù)設(shè)強(qiáng)化學(xué)習(xí)訓(xùn)練模型的適配，獲得強(qiáng)化學(xué)習(xí)適配模型，進(jìn)而進(jìn)行對(duì)各所述強(qiáng)化學(xué)習(xí)適配模型的聯(lián)邦處理，獲得聯(lián)邦模型，進(jìn)而進(jìn)行對(duì)所述聯(lián)邦模型的適配，獲得聯(lián)邦適配模型，進(jìn)而將各所述聯(lián)邦適配模型發(fā)送至各所述強(qiáng)化學(xué)習(xí)訓(xùn)練模型對(duì)應(yīng)的訓(xùn)練設(shè)備，以對(duì)各所述強(qiáng)化學(xué)習(xí)訓(xùn)練模型進(jìn)行迭代訓(xùn)練。也即，本申請(qǐng)通過首先進(jìn)行對(duì)各所述強(qiáng)化學(xué)習(xí)訓(xùn)練模型的適配，實(shí)現(xiàn)了對(duì)不同訓(xùn)練任務(wù)的各強(qiáng)化學(xué)習(xí)訓(xùn)練模型的聯(lián)邦處理，獲得聯(lián)邦模型，進(jìn)而對(duì)所述聯(lián)邦模型進(jìn)行適配，獲得聯(lián)邦適配模型，進(jìn)而實(shí)現(xiàn)了對(duì)不同訓(xùn)練任務(wù)的各強(qiáng)化學(xué)習(xí)訓(xùn)練模型的迭代訓(xùn)練，也即，實(shí)現(xiàn)了基于聯(lián)邦學(xué)習(xí)的不同訓(xùn)練任務(wù)的各強(qiáng)化學(xué)習(xí)訓(xùn)練模型的知識(shí)的在線實(shí)時(shí)遷移，避免了進(jìn)行知識(shí)遷移時(shí)花費(fèi)訓(xùn)練時(shí)間過長(zhǎng)的情況發(fā)生，進(jìn)而提高了知識(shí)遷移的遷移效率，所以，解決了現(xiàn)有技術(shù)中知識(shí)遷移效率低的技術(shù)問題。

專利CN109299728A公開了一種聯(lián)邦學(xué)習(xí)方法、系統(tǒng)及可讀存儲(chǔ)介質(zhì)，其聯(lián)邦學(xué)習(xí)方法包括以下步驟：數(shù)據(jù)終端基于梯度下降樹GBDT算法對(duì)多方訓(xùn)練樣本進(jìn)行聯(lián)邦訓(xùn)練，以構(gòu)建梯度樹模型，其中，所述數(shù)據(jù)終端為多個(gè)，所述梯度樹模型包括多棵回歸樹，所述回歸樹包括多個(gè)分割點(diǎn)，所述訓(xùn)練樣本包括多個(gè)特征，所述特征與所述分割點(diǎn)一一對(duì)應(yīng)；所述數(shù)據(jù)終端基于所述梯度樹模型，對(duì)待預(yù)測(cè)樣本進(jìn)行聯(lián)合預(yù)測(cè)，以確定待預(yù)測(cè)樣本的預(yù)測(cè)值。該發(fā)明通過GBDT算法對(duì)多方訓(xùn)練樣本進(jìn)行聯(lián)邦訓(xùn)練，實(shí)現(xiàn)梯度樹模型建立，通過梯度樹模型，適用于數(shù)據(jù)量規(guī)模大的場(chǎng)景，可以很好地滿足現(xiàn)實(shí)生產(chǎn)環(huán)境需要；對(duì)待預(yù)測(cè)樣本進(jìn)行聯(lián)合預(yù)測(cè)，實(shí)現(xiàn)對(duì)待預(yù)測(cè)樣本的預(yù)測(cè)。