[發明專利]一種基于對抗學習的高魯棒隱私保護推薦方法

在審

• 申請號: 202111187124.1
• 申請日: 2021-10-12
• 公開（公告）號: CN113918814A
• 公開（公告）日: 2022-01-11
• 發明（設計）人: 李浥東;張洪磊;趙旭;崔文軍;陳乃月;賈曉豐;徐葳
• 申請（專利權）人: 北京交通大學
• 主分類號: G06F16/9535
• 分類號: G06F16/9535;G06F16/9536;G06N3/04;G06N3/08;G06Q50/00
• 代理公司: 北京市商泰律師事務所 11255
• 代理人: 黃曉軍

本發明提供了一種基于對抗學習的高魯棒隱私保護推薦方法。該方法包括：構建用于優化神經協同過濾模型所需的訓練集，以及用于訓練成員推理模型所需的參考集；設計帶有成員推理正則項的神經協同過濾聯合模型，并利用上述訓練集與參考集對聯合模型進行對抗訓練方式的迭代優化，得到魯棒的用戶和物品特征表示矩陣；根據得到的用戶特征矩陣與物品特征矩陣對未觀測評分進行預測；將預測分值較高且未產生行為的相應物品集推薦給對應用戶。本發明通過對抗訓練的方式設計統一的最小最大化目標函數來顯式的賦予推薦算法防御成員推理攻擊的能力，進而能夠防御成員推理攻擊和緩解推薦模型過擬合，實現個性化推薦模型算法性能和訓練數據隱私保護的雙向提升。

技術領域

本發明涉及個性化推薦技術領域，尤其涉及一種基于對抗學習的高魯棒隱私保護推薦方法。

背景技術

個性化推薦系統，作為傳統信息檢索的有效補充手段，充分利用用戶與物品自身內容特征及其二者間的交互數據自動過濾無用信息，是一種能夠幫助用戶發現其潛在興趣的常見應用，其在學術界和工業界得到了越來越多的關注。個性化推薦系統背后核心的技術支撐是利用機器學習思想來對用戶歷史瀏覽數據進行訓練的推薦算法。

推薦算法之所以能夠掌握用戶未來的興趣偏好，是因為其需要盡可能多的收集用戶個人信息以及行為信息，以此來實現精準的推薦服務，比如基于內容的推薦系統以及基于協同過濾的推薦系統。另外根據社交同質性理論表明，朋友之間的行為更加趨向于一致，因此許多研究把社交信息融合到了傳統的協同過濾方法中。通過融合越來越多的信息與結合不同類型的數據，推薦系統的預測性能固然得到了顯著的提高，但這樣就不可避免地導致用戶隱私泄露的風險。因此，近年來關于保護用戶的敏感信息隱私問題越來越得到關注。然而前人的工作大多聚焦在保護用戶的人口統計學特性和用戶的歷史購買行為等敏感信息。其主要通過差分隱私技術以及擾動技術來進行用戶信息的隱私保護，這些方法大多在原始數據上進行直接的數據擾動，雖然一定程度上保護了用戶的隱私數據，但不可避免地造成了模型預測性能的退化。

由于目前主流的服務方式為機器學習即服務的模式，因此很難獲取到模型的原始數據并進行直接擾動，所以對模型的原始訓練數據進行白盒攻擊變得不再現實。最新的研究表明，經過訓練的數據和未經過訓練的數據往往具有不同的統計特性，因此機器學習模型容易對其訓練過的數據集信息造成隱私泄露。更具體的，攻擊者可以基于以上不同的統計特性通過構建推理模型來推斷某些樣本是否是其訓練過的數據，這樣的推理過程叫做成員推理攻擊，由于該種方式可以輕松地對黑盒模型進行攻擊，因此成為近年來的主流攻擊方式。

目前，現有技術中的防御成員推理攻擊的方法有兩大類。第一類包括簡單的緩解技術，即將模型的預測結果進行限制，比如將五分類的預測任務只輸出以概率排序后的前三個類別，顯然這樣的操作會降低模型的預測精度；或對預測模型進行正則化，例如使用常見的L2范式。這些技術雖然一定程度上能夠保證模型的預測精度，但他們不能保證任何嚴格的隱私保護定義。

第二大類的防御技術是使用不同的差分隱私機制。然而，現有的差分隱私機制由于嚴格數學意義上滿足隱私保護的要求，同時沒有明確的將模型預測性能納入隱私機制的設計目標中，往往會造成嚴重的預測精度損失。因此，設計一種兼顧模型預測性能與訓練數據隱私保護效果雙方面保證的魯棒算法顯得尤為重要。

發明內容

本發明的實施例提供了一種基于對抗學習的高魯棒隱私保護推薦方法，以實現在保護成員隱私的前提下向用戶精準推薦其所感興趣物品。

為了實現上述目的，本發明采取了如下技術方案。

一種基于對抗學習的高魯棒隱私保護推薦方法，包括：

步驟S1：構建神經協同過濾模型以及所需訓練集，并隨機初始化神經協同過濾推薦模型的參數P，Q，Θ_R，表示用戶特征矩陣，表示物品特征矩陣，Θ_R統一表示推薦模型隱藏層的參數矩陣；