[發(fā)明專(zhuān)利]一種聯(lián)邦學(xué)習(xí)場(chǎng)景中的數(shù)據(jù)選擇方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011464915.X
• 申請(qǐng)日: 2020-12-14
• 公開(kāi)（公告）號(hào): CN112464269A
• 公開(kāi)（公告）日: 2021-03-09
• 發(fā)明（設(shè)計(jì)）人: 張?zhí)m;李向陽(yáng);李安然
• 申請(qǐng)（專(zhuān)利權(quán)）人: 德清阿爾法創(chuàng)新研究院
• 主分類(lèi)號(hào): G06F21/60
• 分類(lèi)號(hào): G06F21/60;G06F21/62;G06N20/00
• 代理公司: 杭州九洲專(zhuān)利事務(wù)所有限公司 33101
• 代理人: 陳琦;陳繼亮

1.一種聯(lián)邦學(xué)習(xí)場(chǎng)景中的數(shù)據(jù)選擇方法，其特征在于所述該方法包括過(guò)濾出和任務(wù)相關(guān)的用戶和數(shù)據(jù)、訓(xùn)練前用戶選擇、訓(xùn)練過(guò)程中用戶和數(shù)據(jù)選擇、模型訓(xùn)練。

2.根據(jù)權(quán)利要求1所述的聯(lián)邦學(xué)習(xí)場(chǎng)景中的數(shù)據(jù)選擇方法，其特征在于所述任務(wù)相關(guān)用戶和數(shù)據(jù)過(guò)濾為當(dāng)一FL任務(wù)到達(dá)時(shí)，server首先通過(guò)計(jì)算每個(gè)用戶C_k,k∈[K]的標(biāo)簽集Y_k＝{y_k|(x_k,y_k)∈D_k}和目標(biāo)標(biāo)簽集Y的交集{(x_k,y_k)|y_k∈Y_k∩Y}，以過(guò)濾出擁有目標(biāo)類(lèi)別數(shù)據(jù)的用戶。如果相交集中的樣本數(shù)量超過(guò)目標(biāo)模型的最小數(shù)量|{(x_k,y_k)|y_k∈Y_k∩Yv，則該用戶是相關(guān)的，為了滿足隱私保護(hù)的需求，我們使用隱私保護(hù)求交技術(shù)(PSI)。

3.根據(jù)權(quán)利要求1所述的聯(lián)邦學(xué)習(xí)場(chǎng)景中的數(shù)據(jù)選擇方法，其特征在于所述訓(xùn)練前用戶選擇：server使用基于點(diǎn)陣行列式(DPP)算法從相關(guān)用戶集中進(jìn)一步選擇高質(zhì)量用戶集(用戶下標(biāo)集合Q)，以在預(yù)算約束B(niǎo)下最大化同質(zhì)性和內(nèi)容多樣性：maxV(Q),s.t.,∑_{k∈Q,Q∈N′}b_k≤B.V(Q)是被選中的用戶的質(zhì)量?jī)r(jià)值。然后，server協(xié)調(diào)選定的用戶以開(kāi)始訓(xùn)練模型。在該模塊中，主要分為以下步驟：

a)基于同質(zhì)性用戶選擇：server優(yōu)先選擇那些數(shù)據(jù)分布均勻且類(lèi)別不缺失的用戶。以同質(zhì)性為選擇用戶的指標(biāo)時(shí)，V_μ(Q)＝∑_k∈Qμ_k，μ_k定義為用戶k的數(shù)據(jù)分布和均勻分布之間的差異性，即：

為了保護(hù)隱私的計(jì)算μ_k，我們利用基于BGN的同態(tài)加密的高效安全的兩方計(jì)算協(xié)議，讓server和每個(gè)用戶使用server的公鑰共同計(jì)算。然后server通過(guò)貪婪地選擇具有最大的用戶，直到預(yù)算B用完，找到最佳用戶集合。

b)基于多樣性用戶選擇：server選擇那些數(shù)據(jù)內(nèi)容多樣的用戶參與模型訓(xùn)練。以內(nèi)容多樣性為選擇用戶的指標(biāo)時(shí)，V(Q)＝ρ(D),D∪_k∈QD_k,其中S(v_i,v_j)是計(jì)算用戶C_i,C_j間的相似性函數(shù)，比如歐式距離。Server貪婪地選擇與當(dāng)前用戶集相似性最低的下一個(gè)用戶。

為了計(jì)算數(shù)據(jù)集的內(nèi)容多樣性，首先需要提取數(shù)據(jù)的特征向量表達(dá)，我們使用深度學(xué)習(xí)模型提取特征，比如使用VGG-16網(wǎng)絡(luò)提取圖片的內(nèi)容特征向量，然后去計(jì)算該用戶所有數(shù)據(jù)的內(nèi)容多樣性。當(dāng)該用戶的數(shù)據(jù)量M較大，且特征向量維度l較高時(shí)，計(jì)算內(nèi)容多樣性開(kāi)銷(xiāo)很大O(M²l)，同時(shí)現(xiàn)有的計(jì)算方法需要直接接觸到原始數(shù)據(jù)，因此我們提出了一種高效的隱私保護(hù)的內(nèi)容多樣性計(jì)算方法，該方法通過(guò)基于JL變換的低維向量來(lái)構(gòu)建每個(gè)用戶數(shù)據(jù)集的特征，并使用隨機(jī)響應(yīng)機(jī)制保護(hù)每個(gè)樣本的隱私，主要分為以下步驟：

i.構(gòu)建數(shù)據(jù)集內(nèi)容草圖：用戶C_k本地生成內(nèi)容特征向量φ_k＝{φ_k,i|i∈[U_k]}，然后server選擇一個(gè)映射矩陣w將φ_k映射為一低維向量h(φ_k,i)＝sign(w·φ_k,i)。這種映射造成的失真降低了多樣性的準(zhǔn)確性，但一定程度上保護(hù)了用戶映射向量的隱私，數(shù)據(jù)集D_K的內(nèi)容向量草圖是

ii.隨機(jī)響應(yīng)機(jī)制：為了進(jìn)一步保護(hù)每個(gè)數(shù)據(jù)存在性的隱私，我們使用了隨機(jī)響應(yīng)機(jī)制來(lái)產(chǎn)生向量草圖h(φ_k,i)的擾動(dòng)向量表示以的概率為1，以的概率為0，并以1-f的概率為f是用戶自定義的控制隱私程度的參數(shù)。然后用戶使用擾動(dòng)向量生成擾動(dòng)草圖并把發(fā)送給server，server使用擾動(dòng)草圖向量計(jì)算相似性并計(jì)算內(nèi)容多樣性至此，server計(jì)算內(nèi)容多樣性的開(kāi)銷(xiāo)降低了若干數(shù)量級(jí)，并且保護(hù)了用戶的數(shù)據(jù)隱私。

C)基于點(diǎn)陣行列式用戶選擇：當(dāng)同時(shí)考慮同質(zhì)性和多樣性時(shí)，用戶選擇問(wèn)題被轉(zhuǎn)化成DPP問(wèn)題。用戶C_i的同質(zhì)性分?jǐn)?shù)是μ_i，和用戶C_j的相似性是S_ij，我們定義一半正定矩陣A_[N′]＝[A_ij]_i,j∈[N′]，A_ij＝u_iu_jS_ij，那么用戶被選中的概率當(dāng)同質(zhì)性增加而相似性降低時(shí)，行列式增加，因此，基于DPP的選擇傾向于選擇具有均勻分布類(lèi)別的用戶，同時(shí)避免內(nèi)容高度相似的用戶。價(jià)值函數(shù)S_Q＝[S_ij]_i,j∈Q.我們將用戶選擇問(wèn)題轉(zhuǎn)化成log-子模問(wèn)題，迭代地選中最大化P_A(Q∪{k})的用戶C_k。