[發(fā)明專利]一種基于聯(lián)邦學(xué)習(xí)增強(qiáng)隱私保護(hù)的個(gè)性化搜索系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202011415365.2
• 申請日: 2020-12-07
• 公開（公告）號: CN112507219B
• 公開（公告）日: 2023-06-02
• 發(fā)明（設(shè)計(jì)）人: 竇志成;姚菁;文繼榮
• 申請（專利權(quán)）人: 中國人民大學(xué)
• 主分類號: G06F16/9535
• 分類號: G06F16/9535;G06F16/9538;G06F40/284;G06N3/045;G06N3/098
• 代理公司: 北京中創(chuàng)陽光知識產(chǎn)權(quán)代理有限責(zé)任公司 11003
• 代理人: 樊炳章;錢蕓

1.一種基于聯(lián)邦學(xué)習(xí)增強(qiáng)隱私保護(hù)的個(gè)性化搜索系統(tǒng)，其特征在于：系統(tǒng)的硬件架構(gòu)由客戶端和服務(wù)器構(gòu)成，并構(gòu)建基于聯(lián)邦學(xué)習(xí)的個(gè)性化搜索框架，其中具體訓(xùn)練的底層模型為個(gè)性化排序模型，各個(gè)客戶端以及客戶端上存儲的數(shù)據(jù)通過聯(lián)邦學(xué)習(xí)的方式共同參與個(gè)性化排序模型的訓(xùn)練，訓(xùn)練得到的模型部署在各個(gè)客戶端上，在客戶端上用戶發(fā)起查詢、存儲用戶的搜索歷史H、構(gòu)建用戶畫像P，部署在客戶端上的個(gè)性化排序模型對從服務(wù)器返回的非個(gè)性化結(jié)果進(jìn)行重排后展示給用戶；

通過所述服務(wù)器協(xié)調(diào)模型的訓(xùn)練并將聚合后的模型發(fā)送至客戶端更新；

所述個(gè)性化搜索系統(tǒng)為采用神經(jīng)網(wǎng)絡(luò)的手段，結(jié)合聯(lián)邦學(xué)習(xí)方法設(shè)計(jì)的單層隱私保護(hù)增強(qiáng)的個(gè)性化搜索框架，具體地，對于用戶在客戶端發(fā)起的查詢，客戶端將查詢以及幾個(gè)隨機(jī)生成的噪聲查詢一起提交給搜索引擎以獲得候選文檔列表；然后配置在客戶端本地的個(gè)性化排序模型調(diào)整真實(shí)查詢所對應(yīng)的文檔列表并將個(gè)性化后的搜索結(jié)果返回給用戶，在用戶對結(jié)果做出搜索反饋后，輸入的真實(shí)查詢、非個(gè)性化和個(gè)性化的文檔列表以及用戶的點(diǎn)擊行為被記錄在客戶端本地的查詢?nèi)罩局校?/p>

所述單層隱私保護(hù)增強(qiáng)的個(gè)性化搜索框架的訓(xùn)練過程通過多個(gè)客戶端合作，對于每個(gè)客戶端上儲存的日志數(shù)據(jù)，服務(wù)器端設(shè)置一個(gè)隨機(jī)初始化的個(gè)性化排序模型，所有的N個(gè)客戶端開始與服務(wù)器進(jìn)行通信來聯(lián)合訓(xùn)練模型，一共訓(xùn)練R輪，在每一輪中確保每個(gè)客戶端都有且只更新一次模型，在步內(nèi)完成在所有客戶端上的模型更新，第t步模型更新的操作如下：第一，服務(wù)器采樣K個(gè)客戶端并將當(dāng)前最新的個(gè)性化排序模型M_t發(fā)送給它們；第二，每個(gè)被采樣的客戶端接收服務(wù)器發(fā)送的最新模型M_t，并利用基于本地日志數(shù)據(jù)H構(gòu)建的訓(xùn)練樣本D和用戶畫像P來更新模型，一共更新E輪，采用Mini-batchSGD算法，然后，所有被采樣的客戶端將個(gè)性化排序模型的參數(shù)更新發(fā)送會服務(wù)器，日志數(shù)據(jù)和用戶畫像始終保存在本地。第三，服務(wù)器聚合所有客戶端發(fā)送回來的參數(shù)更新，然后利用聚合數(shù)據(jù)更新當(dāng)前模型M_t得到M_t+1，即其中n_j＝|D|；訓(xùn)練的過程中，采用同步的方式訓(xùn)練模型，每一步都要等所有采樣客戶端返回參數(shù)更新，并設(shè)定一個(gè)最大響應(yīng)時(shí)間，忽略在最大響應(yīng)時(shí)間內(nèi)沒有反饋的客戶端；所有客戶端依次基于上一個(gè)客戶端更新訓(xùn)練模型。

所述更新訓(xùn)練模型采用在線更新方法或降低通信成本的更新方法。

2.如權(quán)利要求1所述的一種基于聯(lián)邦學(xué)習(xí)增強(qiáng)隱私保護(hù)的個(gè)性化搜索系統(tǒng)，其特征在于：所述在線更新方法為：當(dāng)客戶端產(chǎn)生了足夠多的新數(shù)據(jù)就向服務(wù)器發(fā)出更新模型的申請，客戶端利用新數(shù)據(jù)更新當(dāng)前的模型并將參數(shù)更新上傳到服務(wù)器，在服務(wù)器收到來自K個(gè)客戶端的參數(shù)更新之后，聚合所有更新得到新的模型并將新模型分發(fā)給所有客戶端。

3.如權(quán)利要求2所述的一種基于聯(lián)邦學(xué)習(xí)增強(qiáng)隱私保護(hù)的個(gè)性化搜索系統(tǒng)，其特征在于：所述降低通信成本的更新方法為：設(shè)置一個(gè)固定的時(shí)間間隔來更新模型，在這個(gè)時(shí)間階段內(nèi)，所有客戶端使用上一個(gè)階段訓(xùn)練的模型，不進(jìn)行更新，階段結(jié)束后，由服務(wù)器發(fā)起聯(lián)合重新訓(xùn)練個(gè)性化排序模型的任務(wù)，基于所有客戶端上現(xiàn)有的數(shù)據(jù)訓(xùn)練R輪，模型重新訓(xùn)練完成后，服務(wù)器將新的模型發(fā)送給所有客戶端供下個(gè)階段的使用；或者在每個(gè)階段結(jié)束后只使用新產(chǎn)生的數(shù)據(jù)來增量更新上個(gè)階段訓(xùn)練好的模型。

4.如權(quán)利要求3所述的一種基于聯(lián)邦學(xué)習(xí)增強(qiáng)隱私保護(hù)的個(gè)性化搜索系統(tǒng)，其特征在于：所述用戶畫像采用一個(gè)帶有用戶個(gè)人模塊的個(gè)性化搜索模型，具體地，采用PEPS作為底層個(gè)性化搜索模型，包括為每個(gè)用戶設(shè)置的個(gè)人詞向量模塊和匹配排序模塊，并采用所述單層隱私保護(hù)增強(qiáng)的個(gè)性化搜索框架的訓(xùn)練方法訓(xùn)練所述個(gè)性化搜索模型。

5.如權(quán)利要求4所述的一種基于聯(lián)邦學(xué)習(xí)增強(qiáng)隱私保護(hù)的個(gè)性化搜索系統(tǒng)，其特征在于：所述詞向量層設(shè)置一個(gè)全局詞向量矩陣和用戶個(gè)人的詞向量矩陣，全局詞向量是共享的，基于所有用戶的查詢?nèi)罩具M(jìn)行更新；個(gè)人詞向量是用戶個(gè)人的，僅基于用戶的數(shù)據(jù)更新，作為用戶興趣畫像，使用所有的文檔集合或者維基百科的語料集來訓(xùn)練word2vec模型初始化全局詞向量，使用全局的word2vec初始化用戶的個(gè)人詞向量，或者使用基于用戶個(gè)人日志訓(xùn)練的word2vec模型。