[發(fā)明專(zhuān)利]基于隱私保護(hù)的聯(lián)邦建模裝置、方法及可讀存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201910696340.5
• 申請(qǐng)日: 2019-07-30
• 公開(kāi)（公告）號(hào): CN110443067B
• 公開(kāi)（公告）日: 2021-03-16
• 發(fā)明（設(shè)計(jì)）人: 吳良順
• 申請(qǐng)（專(zhuān)利權(quán)）人: 卓爾智聯(lián)（武漢）研究院有限公司
• 主分類(lèi)號(hào): G06F21/62
• 分類(lèi)號(hào): G06F21/62;G06K9/62
• 代理公司: 深圳市賽恩倍吉知識(shí)產(chǎn)權(quán)代理有限公司 44334
• 代理人: 饒智彬;孫芬

一種基于隱私保護(hù)的聯(lián)邦建模方法，包括：對(duì)各建模節(jié)點(diǎn)的本地樣本數(shù)據(jù)進(jìn)行對(duì)齊處理構(gòu)建訓(xùn)練樣本；初始化各建模節(jié)點(diǎn)的待訓(xùn)練模型參數(shù)；創(chuàng)建加密密鑰對(duì)，并將公鑰發(fā)送給各建模節(jié)點(diǎn)；控制各建模節(jié)點(diǎn)根據(jù)公鑰進(jìn)行加密，并交互用于計(jì)算加密梯度和加密損失的中間結(jié)果；接收指定建模節(jié)點(diǎn)匯總計(jì)算的聯(lián)合加密損失；將該指定建模節(jié)點(diǎn)匯總計(jì)算的聯(lián)合加密樣本權(quán)重分發(fā)給其他建模節(jié)點(diǎn)，以計(jì)算加密梯度；對(duì)各建模節(jié)點(diǎn)計(jì)算的加密梯度進(jìn)行解密；將解密后的梯度回傳給各建模節(jié)點(diǎn)，以更新模型參數(shù)進(jìn)行訓(xùn)練直至聯(lián)合損失函數(shù)收斂。本發(fā)明還提供一種基于隱私保護(hù)的聯(lián)邦建模裝置及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。本發(fā)明可實(shí)現(xiàn)在各建模節(jié)點(diǎn)的數(shù)據(jù)沒(méi)有泄露的情況下進(jìn)行聯(lián)合建模。

技術(shù)領(lǐng)域

本發(fā)明涉及人工智能技術(shù)領(lǐng)域，尤其涉及一種基于隱私保護(hù)的聯(lián)邦建模裝置、方法及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

利用訓(xùn)練完成的機(jī)器學(xué)習(xí)模型對(duì)于未知參數(shù)或結(jié)果進(jìn)行預(yù)測(cè)是人工智能領(lǐng)域很常用的技術(shù)手段。單個(gè)節(jié)點(diǎn)往往存在樣本少，導(dǎo)致訓(xùn)練后的模型預(yù)測(cè)準(zhǔn)確率低的問(wèn)題，因此，多個(gè)節(jié)點(diǎn)聯(lián)合建模構(gòu)建檢測(cè)模型是解決樣本匱乏的重要手段。然而，不同節(jié)點(diǎn)的本地樣本數(shù)據(jù)常常包含有敏感數(shù)據(jù)，基于隱私保護(hù)的角度，該些數(shù)據(jù)很難被共享，不利于進(jìn)行聯(lián)合建模。

發(fā)明內(nèi)容

有鑒于此，有必要提供一種基于隱私保護(hù)的聯(lián)邦建模裝置、方法及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其可實(shí)現(xiàn)在各建模節(jié)點(diǎn)的數(shù)據(jù)沒(méi)有泄露的情況下進(jìn)行聯(lián)合建模。

本發(fā)明一實(shí)施方式提供一種基于隱私保護(hù)的聯(lián)邦建模方法，所述方法包括：對(duì)每一所述建模節(jié)點(diǎn)A₁～A_n的本地樣本數(shù)據(jù)進(jìn)行對(duì)齊處理，以構(gòu)建訓(xùn)練樣本，其中每一所述建模節(jié)點(diǎn)A₁～A_n均構(gòu)建有一待訓(xùn)練模型；初始化每一所述建模節(jié)點(diǎn)A₁～A_n的待訓(xùn)練模型的模型參數(shù)；創(chuàng)建加密密鑰對(duì)，并將所述加密密鑰對(duì)的公鑰分發(fā)給每一所述建模節(jié)點(diǎn)A₁～A_n，以對(duì)訓(xùn)練過(guò)程中節(jié)點(diǎn)交互的數(shù)據(jù)進(jìn)行加密；控制每一所述建模節(jié)點(diǎn)A₁～A_n分別計(jì)算各自的本地加密損失及本地加密樣本權(quán)重；將多個(gè)所述建模節(jié)點(diǎn)A₁～A_n-1計(jì)算得到的本地加密損失及本地加密樣本權(quán)重發(fā)送至所述建模節(jié)點(diǎn)A_n；控制所述建模節(jié)點(diǎn)A_n基于每一所述本地加密樣本權(quán)重計(jì)算得到聯(lián)合加密樣本權(quán)重，及基于每一所述本地加密損失及每一所述本地加密樣本權(quán)重計(jì)算得到聯(lián)合加密損失；將所述建模節(jié)點(diǎn)A_n計(jì)算得到的聯(lián)合加密樣本權(quán)重分發(fā)給多個(gè)所述建模節(jié)點(diǎn)A₁～A_n-1；接收所述建模節(jié)點(diǎn)A_n計(jì)算得到的聯(lián)合加密損失；控制每一所述建模節(jié)點(diǎn)A₁～A_n根據(jù)各自的模型參數(shù)、訓(xùn)練樣本的數(shù)據(jù)集及所述聯(lián)合加密樣本權(quán)重計(jì)算得到加密梯度；接收每一所述建模節(jié)點(diǎn)A₁～A_n計(jì)算得到的加密梯度；對(duì)所述聯(lián)合加密損失及每一所述建模節(jié)點(diǎn)A₁～A_n的加密梯度進(jìn)行解密處理，以得到聯(lián)合損失及每一所述建模節(jié)點(diǎn)A₁～A_n的解密梯度；控制每一所述建模節(jié)點(diǎn)A₁～A_n根據(jù)所述解密梯度更新各自的模型參數(shù)，以進(jìn)行后續(xù)的模型訓(xùn)練直至聯(lián)合損失函數(shù)收斂。

優(yōu)選地，所述待訓(xùn)練模型為故障檢測(cè)模型，所述方法還包括：

將待檢測(cè)設(shè)備的故障日志數(shù)據(jù)代入訓(xùn)練完成的故障檢測(cè)模型，以得到所述待檢測(cè)設(shè)備的故障檢測(cè)結(jié)果。

優(yōu)選地，所述本地樣本數(shù)據(jù)包括多次設(shè)備故障日志數(shù)據(jù)及與每一次設(shè)備故障日志數(shù)據(jù)對(duì)應(yīng)的設(shè)備故障類(lèi)型，所述對(duì)每一所述建模節(jié)點(diǎn)A₁～A_n的本地樣本數(shù)據(jù)進(jìn)行對(duì)齊處理的步驟包括：