[發明專利]個性化多視圖聯邦推薦系統

在審

• 申請號: 202210150617.6
• 申請日: 2022-02-18
• 公開（公告）號: CN114564641A
• 公開（公告）日: 2022-05-31
• 發明（設計）人: 張勝博;高明;束金龍;徐林昊;杜蓓;蔡文淵
• 申請（專利權）人: 華東師范大學;上海嗨普智能信息科技股份有限公司
• 主分類號: G06F16/9535
• 分類號: G06F16/9535;G06K9/62
• 代理公司: 上海藍迪專利商標事務所(普通合伙) 31215
• 代理人: 徐筱梅;張翔

1.一種個性化多視圖聯邦推薦系統，其特征在于，該系統包括一個中央服務器及數個用戶客戶端，其中，任意一個用戶客戶端的內部結構均相同，任意一個用戶客戶端之內包含訓練模塊及預測模塊；中央服務器內部、中央服務器與任意一個用戶客戶端之間、任意一個用戶客戶端內部都有著數據流傳輸；同時，這種數據流的傳輸是采用同步傳輸的方式，即各模塊間的數據交換是非異步且由統一時鐘信號調配；所述的訓練模塊和預測模塊各自包含數個分別用于完成訓練任務和預測任務的子模塊；

所述中央服務器，包括更新協調模塊及數據計算模塊；

所述數據計算模塊分別對來自數個用戶客戶端的物品梯度數據與用戶梯度數據執行聚合操作，所述聚合操作在中央服務器與任意一個用戶客戶端之間進行；

所述更新協調模塊協調來自任意用戶客戶端的單一梯度數據和來自數據計算模塊的聚合梯度數據在任意用戶客戶端內的訓練模塊與中央服務器內的更新協調模塊之間的傳輸；所述協調，這一操作在中央服務器內部完成，并通過安全聚合協議來保障數據傳輸過程中進入數據計算模塊內部的單一梯度數據被遠程安全聚合；遠程安全聚合是指在安全聚合協議的控制之下對來自數個用戶客戶端的用戶梯度數據或物品梯度數據執行加密并上傳至中央服務器，中央服務器對梯度數據完成解密后再對其執行聚合；

所述任意用戶客戶端內的訓練模塊，包括數據分發子模塊、梯度計算子模塊、梯度聚合子模塊、模型更新子模塊、模型微調子模塊、用戶數據倉庫及物品數據倉庫；訓練模塊內部的子模塊與數據倉庫相互協作完成訓練算法的執行；

所述用戶數據倉庫和物品數據倉庫，分別在任意用戶客戶端的本地設備之中存儲用戶數據和物品數據；用戶數據是指任意用戶客戶端上用戶在各應用視圖之內產生的歷史交互行為數據集；物品數據是指推薦服務提供商經由中央服務器分發至任意用戶客戶端上的待推薦物品數據集；

所述數據分發子模塊與中央服務器內的更新協調模塊以及訓練模塊內的模型更新子模塊發生交互，承擔著承上啟下的數據樞紐的作用；一方面，上傳來自模型更新子模塊的本地安全聚合后的梯度數據至中央服務器，接收來自中央服務器的物品數據集與遠程安全聚合后的梯度數據；另一方面，把來自中央服務器的遠程安全聚合后的梯度數據傳遞給模型更新子模塊；本地安全聚合是指對任意用戶客戶端內部產生的梯度數據執行隨機采樣、梯度裁剪以及高斯加噪后再進行聚合；

所述梯度計算子模塊計算訓練算法中物品子模型和用戶子模型依據目標函數進行迭代擬合后的梯度下降結果，緩存來自梯度聚合子模塊的本地梯度下降聚合結果；

所述梯度聚合子模塊聚合梯度計算子模塊中產生的梯度下降結果，并對梯度下降結果執行隨機采樣、梯度裁剪以及高斯加噪，從而實現梯度下降結果的本地安全聚合；

所述模型更新子模塊對當前輪次的模型訓練進行更新，即從數據分發子模塊中分別獲取來自中央服務器的遠程安全聚合后的物品子模型梯度和用戶子模型梯度，分別利用物品子模型梯度和用戶子模型梯度對物品子模型和用戶子模型執行梯度下降；一旦當前的訓練次數達到預設的迭代上限值或全局模型已收斂，模型更新子模塊便將全局模型發送給模型微調子模塊；全局模型是指模型更新子模塊利用遠程聚合梯度對用戶子模型和物品子模型執行梯度下降之后得到的用戶子模型和物品子模型；

所述模型微調子模塊調用本地的用戶數據和物品數據，對全局用戶子模型和全局物品子模型分別進行有限輪次的本地訓練迭代，使全局模型更加符合任意用戶自身本地數據的數據分布，從而完成全局模型在任意用戶客戶端上的個性化微調；

個性化微調后的全局模型的模型參數分別存儲于用戶數據倉庫和物品數據倉庫之中，并通過訓練模塊和預測模塊之間的數據管道被進一步傳送至與訓練模塊相鄰的預測模塊中的用戶模型倉庫和物品模型倉庫之中；

所述任意用戶客戶端內的預測模塊，包括語義計算子模塊、交互計算子模塊、概率聚合子模塊、概率排序子模塊、推薦輸出子模塊、用戶模型倉庫及物品模型倉庫；預測模塊內的子模塊與模型倉庫相互協作完成預測算法的執行；

所述用戶模型倉庫和物品模型倉庫，分別在任意客戶端的本地設備之中存儲用戶模型和物品模型；

所述用戶模型是指任意用戶客戶端利用本地的用戶數據，經由訓練算法進行用戶模型訓練后，獲得的一組關于用戶數據的深度語義匹配模型的神經網絡參數；

所述物品模型是指任意用戶客戶端利用本地的物品數據，經由訓練算法進行物品模型訓練后，獲得的一組關于物品數據的深度語義匹配模型的神經網絡參數；

所述語義計算子模塊分別利用用戶模型與物品模型，通過深度語義匹配網絡的前向傳播過程，獲得用戶模型對應的用戶語義向量和物品模型對應的物品語義向量；

所述交互計算子模塊計算任一用戶語義向量與物品語義向量之間發生潛在交互的后驗概率值；

所述概率聚合子模塊對交互計算子模塊輸出的數個后驗概率值執行聚合，獲得任一待推薦物品在當前用戶客戶端上發生交互的后驗概率值；

所述概率排序子模塊將概率聚合子模塊輸出的若干個待推薦物品在當前用戶客戶端上發生交互的后驗概率值，按照降序或升序進行排序；

所述推薦輸出子模塊輸出概率排序中任一概率所對應的待推薦物品，獲得推薦物品序列，完成個性化多視圖聯邦推薦。