[發明專利]支持雙向隱私保護的機器學習安全聚合預測方法及系統

有效

• 申請號: 202011230255.9
• 申請日: 2020-11-06
• 公開（公告）號: CN112347473B
• 公開（公告）日: 2022-07-26
• 發明（設計）人: 趙川;趙埼;荊山;張波;陳貞翔;賈忠田
• 申請（專利權）人: 濟南大學
• 主分類號: G06F21/55
• 分類號: G06F21/55;G06F21/62;G06K9/62;G06N20/00
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 黃海麗

本申請公開了支持雙向隱私保護的機器學習安全聚合預測方法及系統，包括：客戶端、計算服務器和聚合服務器；計算服務器接收客戶端發送的待預測數據的數據份額；所述計算服務器對數據份額進行處理，得到預測結果份額；所述計算服務器對預測結果份額進行盲化處理，得到盲化預測結果份額；所述計算服務器將盲化預測結果份額發送給聚合服務器；所述聚合服務器對盲化預測結果份額進行移除盲化處理和加噪聲處理，將結果反饋給客戶端。

技術領域

本申請涉及機器學習技術領域，特別是涉及支持雙向隱私保護的機器學習安全聚合預測方法及系統。

背景技術

本部分的陳述僅僅是提到了與本申請相關的背景技術，并不必然構成現有技術。

在大數據與機器學習等技術的推動下，人工智能技術改變了人們的生活方式，如人臉，語音識別，推薦系統，無人汽車等。但隨之而來的是個人隱私信息的濫用，泄露事件頻發。機器學習，深度學習算法的性能都依賴于提前收集的大量訓練數據，這些數據可能涉及到用戶敏感信息，如醫療記錄，用戶信貸記錄等。大量研究表明，機器學習模型極易受到惡意攻擊，由于機器學習模型隱含了訓練數據的信息，攻擊者可以通過分析模型，反向獲取到有關訓練數據的隱私信息。如Tramer等人通過查詢預測API攻擊如Amazon，BigML的在線機器學習預測服務(MLaas)，并成功提取了與原始模型近似的機器學習模型。Fredrikson等人通過分析分類器輸出的概率信息來揭示原始的訓練數據，shokri設計的membershipinference attack訓練多個影子模型判斷一條數據是否出現在訓練集中。而一旦模型參數或訓練數據被泄露，會對于企業和個人造成嚴重的安全威脅和損失。

隨著機器學習中各種隱私威脅的揭露，大量研究工作致力于解決機器學習下隱私保護問題，如Papernot等人提出了一種隱私保護的機器學習框架，Private Aggregationof Teacher Ensembles(PATE)，“教師-學生”半監督遷移模型。PATE基于以下思想，若是在不相交數據集上訓練的多個獨立模型對于同一輸入數據，在輸出上具有高度的一致性，則不會泄露相關隱私訓練數據。因此該框架通過劃分隱私數據集，并在隱私子集上訓練多個獨立的教師模型，通過滿足差分隱私的聚合機制將知識遷移到學生模型上，即通過教師模型給學生的公共數據預測標簽，教師模型可被視為是一種機器學習即服務。敵手只能接觸到基于公開數據訓練的學生模型，因此保護了隱私訓練數據的安全。直觀上PATE提供了強大的隱私保證，且具有靈活的擴展性，但同時該框架也具有一定的局限性。

首先，隱私性上，PATE通過一個可信的聚合器聚合多個教師的預測結果，可是現實中并不存在完全可信的實體，若聚合器是惡意或者半誠實的，預測結果直接會被泄露。二是在學生模型沒有公開的數據，或者學生模型持有的數據也是隱私的情況下，就無法保證學生模型數據的隱私性。設想一家醫院希望訓練一個機器學習模型幫助推斷患者病情，并通過其他醫院(教師)幫助自己(學生)標記數據集，然而由于患者的數據無法直接公開給其他醫院(教師)，這種情況下PATE框架便無法提供有效的隱私保證。且若敵手腐化學生，通過教師的預測結果反向攻擊教師模型(成員推斷攻擊)，教師模型和其訓練數據的隱私性也無法保證。上述問題造成了雙向的隱私泄露。在性能上，由于PATE框架通過差分隱私提供了隱私保證，但為了控制隱私成本，也限制了可預測數據的量。此外PATE框架只能在本地部署，即教師模型只能在本地提供預測，這就需要教師在預測時保持在線。

發明內容

為了解決現有技術的不足，本申請提供了支持雙向隱私保護的機器學習安全聚合預測方法及系統；

第一方面，本申請提供了支持雙向隱私保護的機器學習安全聚合預測方法；

支持雙向隱私保護的機器學習安全聚合預測方法，包括：

計算服務器接收客戶端發送的待預測數據的數據份額；

所述計算服務器對數據份額進行處理，得到預測結果份額；