[發明專利]可解釋性深度學習的差分隱私保護方法

有效

• 申請號: 202010011049.2
• 申請日: 2020-01-06
• 公開（公告）號: CN111242196B
• 公開（公告）日: 2022-06-21
• 發明（設計）人: 王金艷;李德;胡宇航;李先賢
• 申請（專利權）人: 廣西師范大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08;G06F21/62
• 代理公司: 桂林市持衡專利商標事務所有限公司 45107
• 代理人: 陳躍琳

本發明公開一種可解釋性深度學習的差分隱私保護方法，通過在FF?CNN的第一層卷積層加入差分隱私保護以及在模型的輸出層的損失函數中加入差分隱私，保證了模型的輸入與輸出端的安全，從而保護了模型數據提供者的個人隱私，并且通過在第二次采樣層得到的數據特征利用k?means++算法進行聚類后，進行mixup插值法進行數據增強，提升整個模型的魯棒性。本發明基于可解釋性深度學習模型的隱私保護策略，使得模型使用者可以利用深度學習模型得到具有可解釋性的結果并且不泄露個人的隱私信息。

技術領域

本發明涉及深度學習與隱私保護技術領域，具體涉及一種可解釋性深度學習的差分隱私保護方法。

背景技術

近年來，深度學習是機器學習研究的一個新領域。它就像人類大腦一樣，有能力學習和處理復雜的數據，并嘗試解決負責的任務。由于這種能力，它被用于各種領域內，例如文本提取，聲音識別，圖像分類與識別等。卷積神經網絡(CNN)作為深度學習的一種具有代表性的網絡結構，廣泛被應用于各類圖像識別，語義分割的場景，卷積神經網絡從宏觀的概念上來講，可以分為特征提取和特征識別兩大部分，通過卷積(convolution)操作與采樣(pooling)操作對原始圖像進行有效的特征提取，然后通過全連接層(full connection)的變換對提取出來的有效特征進行精準識別。然而，卷積神經網絡的訓練需要大量的數據，這些數據中包含著用戶個人的敏感信息，如果卷積神經網絡模型不加以保護直接發布出來的話，將會對數據提供者的隱私造成一定的泄露，那么數據提供者的利益也將受到損害，導致不愿再提供數據的結果，從而影響模型的訓練。

對于深度學習的模型來說，就是一個黑盒子，數據擁有者看不到模型是通過什么動作或者原因得出這樣一個判斷結果，這樣對于深度神經網絡模型做出的決策，使用者常常會持有懷疑的態度。即使，模型的預測精度已經達到很高的程度。所以，可解釋性的深度神經網絡對于深度學習的發展具有很大的促進作用，然而可解釋性的深度神經網絡仍然存在隱私泄露的問題，需要采取一定的隱私保護手段來保證數據提供者的隱私。

目前，在機器學習隱私保護方面，差分隱私已經成為最有發展潛力的隱私保護技術之一。差分隱私是保證相鄰數據集相差一條記錄對于兩個數據集的輸出幾乎沒有影響，其保護方式是通過在查詢函數的返回值中加入適量的噪聲來實現的，攻擊者無法通過設計的攻擊模型來竊取模型的原始數據。然而，現有滿足差分隱私的卷積神經網絡模型都是對于普通的卷積神經網絡結構的，對于可解釋性卷積神經網絡模型的隱私保護手段幾乎沒有，可解釋性卷積神經網絡對于模型的參數更加依賴，這樣對于白盒或者黑盒的攻擊手段，更加容易泄露數據提供者的隱私?？山忉屝跃矸e神經網絡的隱私保護更加具有意義和挑戰性，主要體現在以下幾個方面：

(1)可解釋性與隱私性的結合，既可以給數據提供者帶來對模型決策結果的解釋，又可以在不失去解釋性的前提下對提供者的隱私足夠的保障，使用數據提供者實用性和安全性上都有足夠的保障。

(2)在保證卷積神經網絡模型的精度不降低以及可解釋性的清晰度不減弱的前提下，如何精準加噪，減少噪聲對于模型的影響十分關鍵。

發明內容

本發明針對可解釋性卷積神經網絡模型在訓練以及推理過程中產生的隱私泄露問題，提供一種可解釋性深度學習的差分隱私保護方法。

為解決上述問題，本發明是通過以下技術方案實現的：

可解釋性深度學習的差分隱私保護方法，包括步驟如下：

步驟1、初始化可解釋性深度學習模型，該可解釋性深度學習模型基于前向傳播的可解釋性卷積神經網絡，并依次包括輸入層、第一卷積層、第一采樣層、第二卷積層、第二采樣層、第一全連接層、第二全連接層和輸出層；

步驟2、將給定的數據集進行歸一化處理后，作為可解釋性深度學習模型的訓練數據集；

步驟3、利用步驟2的訓練數據集對步驟1所得的可解釋性深度學習模型的第一卷積層進行訓練，以更新可解釋性深度學習模型；即：