[發明專利]一種基于秘密共享和隨機擾動的隱私保護線性回歸方法

在審

• 申請號: 202110322472.9
• 申請日: 2021-03-25
• 公開（公告）號: CN113065145A
• 公開（公告）日: 2021-07-02
• 發明（設計）人: 魏立斐;丁悅;李夢思;張蕾
• 申請（專利權）人: 上海海洋大學
• 主分類號: G06F21/60
• 分類號: G06F21/60;G06F21/62;G06F17/18
• 代理公司: 上海申浩律師事務所 31280
• 代理人: 張潔

本發明公開了一種基于秘密共享和隨機擾動的隱私保護線性回歸方法，包括如下步驟：S1：秘密共享值的乘法，S2：訓練數據預處理，S3：參數初始化，S4：模型參數更新，S5：模型參數重構，S6：預測數據預處理，S7：計算預測共享值，S8：重構預測結果。數據提供者只需將兩方參數值相加即可得到模型參數，模型參數隱私和原始數據隱私都可得到保護。本技術可以使企業或機構將數據通過秘密共享的形式分給兩云服務器，利用云服務器來存儲數據，且可以利用兩個云服務器進行計算線性回歸模型，此過程中，利用云服務器高效計算的同時并不會泄露原始數據。

技術領域

本發明涉及機器學習數據隱私保護領域，具體涉及一種基于兩方的秘密共享和隨機擾動技術的隱私保護線性回歸方法。

背景技術

在求解機器學習算法的模型參數，即無約束優化問題時，梯度下降(GradientDescent)是最常采用的方法之一。在最小化損失函數時，可以通過梯度下降法來一步步的迭代求解，得到最小化的損失函數，和模型參數值。但這過程中不可避免地要用到大量數據進行迭代，而原始數據的泄露，將會危及到用戶敏感數據的安全或給服務提供商帶來巨大的經濟損失。這也是云計算發展面臨的主要障礙。因此，基于云計算的機器學習服務系統應該更加重視隱私問題，不斷提高隱私防護能力。

安全多方計算(secure multiparty computation，簡稱SMC)起源于姚期智的百萬富翁問題，主要用于解決一組互不信任的參與方之間保持隱私的協同計算問題。數據方不希望將所有訓練數據交給一臺服務器來訓練模型。他希望將數據集分布到多個服務器，共同訓練模型。每個服務器不會了解其他服務器的訓練數據。SecureML是一種保護隱私的雙服務器模型協議。數據所有者將私有數據分配給2個非合謀服務器，并用安全的兩方計算技術訓練聯合數據。采用了不經意傳輸和加密電路和面向多方計算友好的激活函數。使用安全多方計算來解決數據的隱私保護問題是目前研究的主流方向。當前安全多方計算的主要挑戰是如何通過多方構建一個安全且效率較高的計算協議。

Bose等人在基于Vaidya的思想和Clifton的研究提出一種代數解決方案，它通過隨機數據擾動的方式，將真實值放置在用隨機值掩蓋的方程式中來隱藏真實值，提出標量積符號的單向和雙向協議的計算協議。雙方通過相同的并行動作得到標量積的符號，在并行計算場景下降低了其復雜度。沒有第三方參與，直到最后一步，一個人必須依賴他人的產出。

本方案采用基于安全兩方梯度下降迭代的方法，結合秘密共享、隨機數據擾動等密碼學技術，其優點體現在：1)相比于使用同態加密方案，利用兩方之間大量交互可以取代其昂貴的計算開銷，同時還可以滿足原始數據和模型參數的隱私保護要求。2)隨機下降梯度每次迭代都必須用到所有訓練樣本，這使得算法收斂緩慢，因此本方案使用小批量梯度下降算法，每次隨機選取固定數量的小部分樣本進行迭代更新。3)采用隨機化和代數方法，進一步減少了安全多方計算的加密開銷。

發明內容

本發明提供了一種基于秘密共享和隨機擾動的隱私保護線性回歸方法，基于安全兩方計算的基礎上，采用小批量下降梯度迭代，在加法計算中使用秘密共享的加法運算，乘法方面使用隨機數據擾動的方法，并將數據運算擴展至矩陣運算，在原有的使用不經意傳輸的兩方計算協議基礎上，大大減少了加密開銷和通信復雜度，同時在訓練階段和預測階段，保護了原始數據的隱私，又因為最終的模型參數由用戶自己重構，所以模型參數隱私也可以得到很好地保護。方案在機器學隱私保護領域中，可以得到廣泛應用。

一種基于秘密共享和隨機擾動的隱私保護線性回歸方法，包括如下步驟：

S1：秘密共享值的乘法