[發(fā)明專利]一種基于生成式對(duì)抗網(wǎng)絡(luò)的深度差分隱私保護(hù)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201710611972.8
• 申請(qǐng)日: 2017-07-25
• 公開(kāi)（公告）號(hào): CN107368752A
• 公開(kāi)（公告）日: 2017-11-21
• 發(fā)明（設(shè)計(jì)）人: 毛典輝;李子沁;蔡強(qiáng);李海生;曹健
• 申請(qǐng)（專利權(quán)）人: 北京工商大學(xué)
• 主分類號(hào): G06F21/62
• 分類號(hào): G06F21/62
• 代理公司: 北京科迪生專利代理有限責(zé)任公司11251
• 代理人: 安麗

本發(fā)明提供一種基于生成式對(duì)抗網(wǎng)絡(luò)反饋的深度差分隱私保護(hù)方法，用于解決深度學(xué)習(xí)模型應(yīng)用中攻擊者利用自編碼等方法還原出訓(xùn)練集數(shù)據(jù)的問(wèn)題，應(yīng)用深度差分隱私保護(hù)方法實(shí)現(xiàn)訓(xùn)練數(shù)據(jù)集中用戶隱私保護(hù)目的。本發(fā)明包括：依據(jù)輸入訓(xùn)練數(shù)據(jù)集的潛在數(shù)據(jù)集規(guī)模，查詢敏感度、攻擊者最大攻擊概率出隱私預(yù)算的上界；在深度網(wǎng)絡(luò)參數(shù)優(yōu)化計(jì)算中融合差分隱私思想添加噪聲數(shù)據(jù)，基于差分隱私與高斯分布可組合特點(diǎn)，計(jì)算深度網(wǎng)絡(luò)每一層的隱私預(yù)算，在隨機(jī)梯度下降計(jì)算中添加高斯噪聲使之總體隱私預(yù)算最小；利用生成式對(duì)抗網(wǎng)絡(luò)生成攻擊者可能得到的最優(yōu)結(jié)果，通過(guò)對(duì)比攻擊結(jié)果和原始數(shù)據(jù)間差別反饋調(diào)節(jié)深度差分隱私模型的參數(shù)，實(shí)現(xiàn)訓(xùn)練數(shù)據(jù)集可用性與隱私保護(hù)度的平衡。

技術(shù)領(lǐng)域

本發(fā)明涉及深度學(xué)習(xí)和隱私保護(hù)領(lǐng)域，具體涉及一種基于生成式對(duì)抗網(wǎng)絡(luò)的深度差分隱私保護(hù)方法。

背景技術(shù)

近年來(lái)深度學(xué)習(xí)在目標(biāo)檢測(cè)和計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理、語(yǔ)音識(shí)別和語(yǔ)義分析等領(lǐng)域成效卓然，受到了越來(lái)越多研究者的關(guān)注。深度學(xué)習(xí)通過(guò)神經(jīng)網(wǎng)絡(luò)的分層處理，將低層特征組合形成更加抽象的高層表示屬性類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示，其模型性能與訓(xùn)練數(shù)據(jù)集的規(guī)模和質(zhì)量密切相關(guān)，而訓(xùn)練數(shù)據(jù)集中通常包含較多的敏感信息，訓(xùn)練數(shù)據(jù)集在很多領(lǐng)域有廣泛應(yīng)用，包括安防領(lǐng)域的人臉識(shí)別、色情圖片檢測(cè)以及金融企業(yè)數(shù)據(jù)分析等，該領(lǐng)域可以將訓(xùn)練好的模型公布供大家使用，但是數(shù)據(jù)集中涉及敏感信息而不希望被推斷出來(lái)。目前攻擊者通過(guò)一定的攻擊手段可以還原出訓(xùn)練數(shù)據(jù)集，從而使得用戶隱私信息泄露。如公安機(jī)關(guān)發(fā)布犯罪嫌疑人識(shí)別模型，其訓(xùn)練數(shù)據(jù)集包含全國(guó)人口圖像信息，當(dāng)攻擊者使用某一攻擊手段還原出訓(xùn)練數(shù)據(jù)集中的圖像時(shí)使得個(gè)人敏感信息得到泄露，因此如何在不泄露個(gè)人敏感信息的前提下提升數(shù)據(jù)可用性，是當(dāng)前深度學(xué)習(xí)應(yīng)用面臨的主要問(wèn)題，將極大影響深度學(xué)習(xí)未來(lái)的發(fā)展與應(yīng)用。

目前關(guān)于敏感信息保護(hù)問(wèn)題研究前提主要基于攻擊者對(duì)用戶背景知識(shí)的掌握程度，在此條件下攻擊者可以進(jìn)行身份鏈接攻擊、屬性鏈接攻擊、成員鏈接攻擊等隱私攻擊，因此相關(guān)學(xué)者提出了K-匿名、L-多樣性以及相關(guān)的方法。該類方法通過(guò)泛化或抑制用戶敏感屬性并修改數(shù)據(jù)集中的原始信息的策略，從而達(dá)到保護(hù)用戶隱私的目的，而深度學(xué)習(xí)模型主要通過(guò)提取并抽象訓(xùn)練數(shù)據(jù)集中的特征，并不改變數(shù)據(jù)集的原始信息，因此與傳統(tǒng)方法融合時(shí)存在較大難度。差分隱私技術(shù)是2006年微軟研究院提出的一種基于數(shù)據(jù)失真的隱私保護(hù)方法，該方法建立在堅(jiān)實(shí)的數(shù)學(xué)基礎(chǔ)之上，對(duì)隱私保護(hù)進(jìn)行了嚴(yán)格的定義并提供了量化評(píng)估方法，使得不同參數(shù)處理下的數(shù)據(jù)集所提供的隱私保護(hù)水平具有可比較性。其基本思想是對(duì)原始數(shù)據(jù)、對(duì)原始數(shù)據(jù)的轉(zhuǎn)換或者是對(duì)統(tǒng)計(jì)結(jié)果添加噪音來(lái)達(dá)到隱私保護(hù)效果。該保護(hù)方法可以確保在某一數(shù)據(jù)集中插入或者刪除一條記錄的操作不會(huì)影響任何計(jì)算的輸出結(jié)果。另外，該保護(hù)模型不關(guān)心攻擊者所具有的背景知識(shí)，即使攻擊者已經(jīng)掌握除某一條記錄之外的所有記錄的信息。所有有利于保護(hù)訓(xùn)練數(shù)據(jù)集，與敏感信息保護(hù)的根本宗旨高度契合。

針對(duì)上述問(wèn)題，本發(fā)明在無(wú)需考慮攻擊者所擁有的任何可能的背景知識(shí)的情況下，首先依據(jù)訓(xùn)練數(shù)據(jù)集的潛在數(shù)據(jù)集規(guī)模，查詢敏感度、攻擊者最大攻擊概率計(jì)算隱私預(yù)算的上界；然后在深度網(wǎng)絡(luò)參數(shù)優(yōu)化計(jì)算中融合差分隱私思想添加噪聲數(shù)據(jù)，基于差分隱私與高斯分布可組合特點(diǎn)，計(jì)算深度網(wǎng)絡(luò)每一層的隱私預(yù)算，在隨機(jī)梯度下降計(jì)算中添加高斯噪音使之總體隱私預(yù)算最小；最后利用生成式對(duì)抗網(wǎng)絡(luò)生成攻擊者可能得到的最優(yōu)結(jié)果，通過(guò)對(duì)比攻擊結(jié)果和原始數(shù)據(jù)間差別反饋調(diào)節(jié)深度差分隱私模型參數(shù)，實(shí)現(xiàn)訓(xùn)練數(shù)據(jù)集可用性與隱私保護(hù)度的平衡。但根據(jù)現(xiàn)有的了解，還沒(méi)有任何機(jī)構(gòu)或組織將深度差分隱私模型與生成式對(duì)抗網(wǎng)絡(luò)進(jìn)行結(jié)合。

發(fā)明內(nèi)容

本發(fā)明技術(shù)解決問(wèn)題：克服現(xiàn)有技術(shù)的不足，提供一種基于生成式對(duì)抗網(wǎng)絡(luò)的深度差分隱私保護(hù)方法，以采用差分隱私技術(shù)來(lái)解決深度模型訓(xùn)練和應(yīng)用過(guò)程中泄露用戶敏感信息的問(wèn)題。