[發(fā)明專利]基于強(qiáng)化學(xué)習(xí)的隱私策略優(yōu)化方法、系統(tǒng)及可讀存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202011015760.1
• 申請(qǐng)日: 2020-09-24
• 公開（公告）號(hào): CN112214791B
• 公開（公告）日: 2023-04-18
• 發(fā)明（設(shè)計(jì)）人: 孫哲;殷麗華;萬俊平;李超;羅熙;顧釗銓;張偉哲
• 申請(qǐng)（專利權(quán)）人: 廣州大學(xué);鵬城實(shí)驗(yàn)室
• 主分類號(hào): G06F21/62
• 分類號(hào): G06F21/62;G06N3/0442;G06N3/092
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 郭浩輝;麥小嬋

1.一種基于強(qiáng)化學(xué)習(xí)的隱私策略優(yōu)化方法，其特征在于，所述方法包括如下步驟：

在移動(dòng)端部署n層神經(jīng)元網(wǎng)絡(luò)作為輸入樣本特征提取器，并在云端部署已獨(dú)立完成訓(xùn)練的輸入樣本重構(gòu)器、目標(biāo)分類器及隱私分類器，以完成初始模型的初始化；

通過測(cè)試樣本集對(duì)所述初始模型進(jìn)行測(cè)試，將測(cè)試信息、當(dāng)前的超參數(shù)和層數(shù)存儲(chǔ)于一信息單元，設(shè)置并初始化超參數(shù)優(yōu)化器；其中，所述測(cè)試信息包括當(dāng)前樣本平均復(fù)原度、隱私推測(cè)準(zhǔn)確率、目標(biāo)分類準(zhǔn)確率、輸入樣本特征提取器的輸出層參數(shù)、運(yùn)行時(shí)長(zhǎng)和能耗信息；

將所述信息單元的狀態(tài)信息輸入超參數(shù)優(yōu)化器中進(jìn)行超參數(shù)信息優(yōu)化方案的選擇、執(zhí)行與優(yōu)化方案獎(jiǎng)勵(lì)值的計(jì)算，并根據(jù)計(jì)算結(jié)果進(jìn)行超參數(shù)優(yōu)化器樣本的增加、優(yōu)化方案價(jià)值的更新及超參數(shù)優(yōu)化器網(wǎng)絡(luò)參數(shù)的更新；

當(dāng)隱私信息與業(yè)務(wù)可用性之間的相關(guān)性的權(quán)衡效果平衡時(shí)，運(yùn)行所述初始模型，通過當(dāng)前超參數(shù)優(yōu)化器網(wǎng)絡(luò)對(duì)所述初始模型進(jìn)行優(yōu)化，并獲取最終的超參數(shù)優(yōu)化結(jié)果和層數(shù)n；

所述初始模型的創(chuàng)建方法包括：

分別將L(TC)-λ_ARL(AR)及L(TC)-λ_PCL(PC)作為圖像復(fù)原訓(xùn)練及隱私推測(cè)訓(xùn)練的輸入樣本特征提取器的損失函數(shù)；其中，L(TC)為業(yè)務(wù)任務(wù)網(wǎng)絡(luò)的損失函數(shù)，L(PC)為隱私推測(cè)網(wǎng)絡(luò)的損失函數(shù)，λ_PC為調(diào)節(jié)業(yè)務(wù)任務(wù)識(shí)別準(zhǔn)確率和隱私推測(cè)保護(hù)強(qiáng)度之間的閾值，0λ_PC1，且λ_PC越小，特征用于業(yè)務(wù)任務(wù)識(shí)別的準(zhǔn)確率越高，λ_PC越大，特征用于隱私推測(cè)保護(hù)的效果越好，L(AR)為樣本復(fù)原網(wǎng)絡(luò)的損失函數(shù)，λ_AR為調(diào)節(jié)業(yè)務(wù)任務(wù)識(shí)別準(zhǔn)確率和樣本復(fù)原保護(hù)強(qiáng)度之間的閾值，0λ_AR1，且λ_AR越小，特征用于業(yè)務(wù)任務(wù)識(shí)別的準(zhǔn)確率越高，λ_AR越大，特征用于樣本復(fù)原保護(hù)的效果越好；

以輸入樣本特征提取器輸出的樣本特征作為輸入，再次對(duì)所述輸入樣本特征提取器、輸入樣本重構(gòu)器、目標(biāo)分類器及隱私分類器進(jìn)行訓(xùn)練，直至得到收斂的輸入樣本特征提取器的參數(shù)；

所述根據(jù)計(jì)算結(jié)果進(jìn)行超參數(shù)優(yōu)化器樣本的增加、優(yōu)化方案價(jià)值的更新及超參數(shù)優(yōu)化器網(wǎng)絡(luò)參數(shù)的更新的方法包括：

將所述信息單元中輸入樣本特征提取器的輸出層參數(shù)、超參數(shù)及層數(shù)與第T-1次測(cè)試所得到的狀態(tài)信息元組進(jìn)行合并，組成當(dāng)前狀態(tài)信息元組；其中，T-1次測(cè)試指的是前一次測(cè)試；

將所述狀態(tài)信息元組輸入超參數(shù)優(yōu)化器網(wǎng)絡(luò)，通過貪婪算法進(jìn)行超參數(shù)優(yōu)化方案的選擇與初始模型的訓(xùn)練，并對(duì)信息單元與當(dāng)前狀態(tài)信息元組更新；

對(duì)更新后的信息單元中的測(cè)試信息做歸一化處理，得到所述超參數(shù)優(yōu)化方案的獎(jiǎng)勵(lì)值；

將獲得的五元組存儲(chǔ)至超參數(shù)優(yōu)化器的經(jīng)驗(yàn)池中，并從經(jīng)驗(yàn)池中取出若干個(gè)五元組，并將元組中的新狀態(tài)信息輸入超參數(shù)優(yōu)化器網(wǎng)絡(luò)中進(jìn)行優(yōu)化方案價(jià)值的更新；其中，所述五元組包括狀態(tài)信息元組S_t、超參數(shù)修改方案a_t、當(dāng)前狀態(tài)信元組S_t+1、獎(jiǎng)勵(lì)值reward、優(yōu)化結(jié)束標(biāo)志done；

根據(jù)更新后的優(yōu)化方案價(jià)值，通過均方差損失函數(shù)更新所述超參數(shù)優(yōu)化器網(wǎng)絡(luò)參數(shù)。

2.根據(jù)權(quán)利要求1所述的基于強(qiáng)化學(xué)習(xí)的隱私策略優(yōu)化方法，其特征在于，在對(duì)初始模型進(jìn)行初始化的步驟之前，所述方法還包括：

當(dāng)隱私信息與業(yè)務(wù)可用性之間的相關(guān)性為第一相關(guān)性時(shí)，根據(jù)用戶的選擇調(diào)整業(yè)務(wù)任務(wù)識(shí)別準(zhǔn)確率或隱私推測(cè)準(zhǔn)確率；其中，第一相關(guān)性為信息與業(yè)務(wù)可用性的特征極其相關(guān)；

當(dāng)隱私信息與業(yè)務(wù)可用性之間的相關(guān)性為第二相關(guān)性時(shí)，調(diào)整輸入樣本特征提取器中的損失函數(shù)系數(shù)，以得到不同隱私保護(hù)強(qiáng)度下的業(yè)務(wù)識(shí)別準(zhǔn)確率；其中，第二相關(guān)性為隱私信息與業(yè)務(wù)可用性的特征比較相關(guān)；

當(dāng)隱私信息與業(yè)務(wù)可用性之間的相關(guān)性為第三相關(guān)性時(shí)，根據(jù)用戶的選擇調(diào)整業(yè)務(wù)任務(wù)識(shí)別準(zhǔn)確率與隱私推測(cè)準(zhǔn)確率；其中，第三相關(guān)性為隱私信息與業(yè)務(wù)可用性的特征幾乎不相關(guān)。

3.根據(jù)權(quán)利要求1所述的基于強(qiáng)化學(xué)習(xí)的隱私策略優(yōu)化方法，其特征在于，設(shè)置并初始化超參數(shù)優(yōu)化器的方法包括：設(shè)置一個(gè)隨機(jī)參數(shù)的長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)作為超參數(shù)優(yōu)化器并初始化其超參數(shù)。