[發(fā)明專利]帶時(shí)延發(fā)布的滿足差分隱私的在線學(xué)習(xí)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110763046.9
• 申請(qǐng)日: 2021-07-06
• 公開（公告）號(hào): CN113379069A
• 公開（公告）日: 2021-09-10
• 發(fā)明（設(shè)計(jì)）人: 張?zhí)m;劉建東;李向陽(yáng)
• 申請(qǐng)（專利權(quán)）人: 中國(guó)科學(xué)技術(shù)大學(xué)
• 主分類號(hào): G06N20/00
• 分類號(hào): G06N20/00;G06F21/62
• 代理公司: 中科專利商標(biāo)代理有限責(zé)任公司 11021
• 代理人: 吳夢(mèng)圓

本發(fā)明提供了一種帶時(shí)延發(fā)布的滿足差分隱私的在線學(xué)習(xí)方法，通過(guò)時(shí)延發(fā)布及加噪操作，實(shí)現(xiàn)較高精度的保護(hù)隱私的在線學(xué)習(xí)，包括：選定隱私參數(shù)(∈，δ)及發(fā)布時(shí)間1≤t₁＜t₂＜…＜t_m≤T；隨機(jī)初始化并發(fā)布初始模型x₁；在時(shí)刻t＝1，2，...，T，根據(jù)一定規(guī)則更新x_t?1得到若t∈{t₁，t₂，...，t_m}，則根據(jù)隱私參數(shù)(∈，δ)對(duì)加噪并發(fā)布加噪后的模型x_t。由于發(fā)布輪數(shù)較少，相應(yīng)隱私損失較少，通過(guò)合理地控制發(fā)布輪數(shù)，在相同的隱私損失預(yù)算下，可得到更小的regret損失；由于發(fā)布輪數(shù)較少，因而通信開銷較小。

技術(shù)領(lǐng)域

本發(fā)明涉及隱私保護(hù)、機(jī)器學(xué)習(xí)領(lǐng)域，尤其涉及一種帶時(shí)延發(fā)布的滿足差分隱私的在線學(xué)習(xí)方法。

背景技術(shù)

在線學(xué)習(xí)，作為機(jī)器學(xué)習(xí)的重要分支，其特點(diǎn)是基于用戶的在線到達(dá)的反饋信息不斷更新訓(xùn)練模型，并利用該模型為之后的用戶提供服務(wù)。可以看到，若用戶的反饋信息包含其隱私信息，則該訓(xùn)練過(guò)程可能通過(guò)模型將其隱私泄露給之后的用戶。對(duì)于保護(hù)隱私的在線學(xué)習(xí)，一條重要的研究思路是使用差分隱私方法進(jìn)行設(shè)計(jì)，即通過(guò)擾動(dòng)(加噪)為該訓(xùn)練過(guò)程引入不確定性，從而使得攻擊者無(wú)法通過(guò)模型準(zhǔn)確推斷用戶的隱私信息。對(duì)于滿足差分隱私的在線學(xué)習(xí)算法，現(xiàn)有的設(shè)計(jì)主要包含兩條思路：1)直接對(duì)訓(xùn)練模型進(jìn)行擾動(dòng)；2)對(duì)訓(xùn)練過(guò)程中的一些中間結(jié)果進(jìn)行擾動(dòng)。另一方面，滿足差分隱私的在線學(xué)習(xí)算法可以被推廣到分布式場(chǎng)景。

現(xiàn)有的滿足差分隱私的在線算法的誤差(通過(guò)regret損失衡量，即模型的累計(jì)誤差與最優(yōu)單一模型對(duì)應(yīng)誤差的差值)大都遠(yuǎn)劣于非隱私在線學(xué)習(xí)的regret損失。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明的主要目的在于提供一種帶時(shí)延發(fā)布的滿足差分隱私的在線學(xué)習(xí)方法，以期部分地解決上述技術(shù)問(wèn)題中的至少之一。

為了實(shí)現(xiàn)上述目的，作為本發(fā)明的一方面，提供了一種帶時(shí)延發(fā)布的滿足差分隱私的在線學(xué)習(xí)方法，通過(guò)時(shí)延發(fā)布及加噪操作，實(shí)現(xiàn)較高精度的保護(hù)隱私的在線學(xué)習(xí)，包括：

選定隱私參數(shù)(∈,δ)及發(fā)布時(shí)間1≤t₁t₂…t_m≤T；

隨機(jī)初始化并發(fā)布初始模型x₁；

在時(shí)刻t＝1，2,…,T，根據(jù)一定規(guī)則更新x_t-1得到若t∈{t₁,t₂,…,t_m}，則根據(jù)隱私參數(shù)(∈,δ)對(duì)加噪并發(fā)布加噪后的模型x_t。

其中，還包括若t在t_i到t_i+1之間，學(xué)習(xí)方發(fā)布的模型為x_ti。

其中，根據(jù)特定的在線學(xué)習(xí)問(wèn)題，除隱私參數(shù)與發(fā)布時(shí)間外，還需選定模型可行域同時(shí)發(fā)布時(shí)間可不事先選定，而使用自適應(yīng)的方式進(jìn)行選擇；若選定了模型可行域所述初始模型需落在模型可行域中。

其中，所述一定規(guī)則為在線學(xué)習(xí)模型更新方法，所述在線學(xué)習(xí)學(xué)習(xí)模型更新方法包括梯度法、Follow the Leader算法和Hedge算法。

其中，所述根據(jù)一定規(guī)則更新x_t-1得到在更新過(guò)程中，若更新規(guī)則需要使用到之前的模型，根據(jù)實(shí)際需求及算法設(shè)計(jì)，能夠使用加噪模型或加噪前的模型；若模型未更新，則學(xué)習(xí)方可以不發(fā)布模型，用戶可直接調(diào)用上一次發(fā)布的模型，以此減少通信開銷。

作為本發(fā)明的另一方面，提供了一種帶時(shí)延發(fā)布的滿足差分隱私的分布式在線學(xué)習(xí)方法，通過(guò)時(shí)延發(fā)布及加噪操作，實(shí)現(xiàn)較高精度的保護(hù)隱私的分布式在線學(xué)習(xí)，包括：