[發明專利]針對隱私保護神經網絡模型的后門攻擊的檢測與識別方法

有效

• 申請號: 202110190542.X
• 申請日: 2021-02-18
• 公開（公告）號: CN112989438B
• 公開（公告）日: 2022-10-21
• 發明（設計）人: 魏立斐;張蕾;陳聰聰
• 申請（專利權）人: 上海海洋大學
• 主分類號: G06F21/71
• 分類號: G06F21/71;G06F21/62;G06N3/08
• 代理公司: 上海申浩律師事務所 31280
• 代理人: 張潔

本發明提供了一種針對隱私保護神經網絡模型的后門攻擊的檢測與識別方法，所述方法包含以下步驟：步驟(1)，產生掩碼矩陣和觸發器矩陣；步驟(2)，設置后門檢測相關參數初始狀態；步驟(3)，構建對抗性輸入；步驟(4)，進行掩碼矩陣和觸發器矩陣的優化訓練；步驟(5)，計算掩碼矩陣和觸發器矩陣的梯度；步驟(6)，重置掩碼矩陣和觸發器矩陣；步驟(7)，觸發器逆向工程。本發明使用定點數運算方式在三方環境下進行神經網絡模型的訓練，得到了保護數據隱私和模型隱私的具有后門的神經網絡模型。本發明在四方服務器的環境下能夠保護模型參數和數據的隱私并且能夠檢測模型中是否存在后門以及識別具體被攻擊的標簽。

技術領域

本發明涉及密碼學以及機器學習(深度學習)技術領域，具體地說，是對隱藏了后門的具有隱私保護性質的神經網絡模型進行后門攻擊的檢測與識別。

背景技術

依托于云計算、物聯網、大數據技術的發展，以數據挖掘和深度學習為代表的人工智能技術正在改變人類社會生活，并成為先進科技應用的代表和社會關注的熱點。作為引領未來的戰略性技術，人工智能技術被世界各國紛紛提升為發展國家競爭力、維護國家安全的重大戰略。

機器學習(Machine Learning,ML)是一種實現人工智能的方式，是近些年主要研究的領域。目前，機器學習方案在很多領域都有著成熟的應用，如天氣預報、能源勘探、環境監測等領域，通過收集相關數據進行分析學習，可以提高這些工作的準確性。神經網絡(Neural Networks,NNs)是一種模仿生物神經網絡的結構和功能的數學模型，是目前機器學習常用的模型之一。深度學習(Deep Learning,DL)能夠學習樣本數據中的規律和表示層次，對聲音、圖片、視頻等數據具有很好的可解釋性。而深度神經網絡(Deep NeuralNetworks,DNNs)是將神經網絡和深度學習相結合的一種機器學習模型，它在我們生活中如自動駕駛、醫療、游戲、機器人等領域都有廣泛的應用。然而，蓬勃發展的機器學習技術使數據安全與隱私面臨更加嚴峻的挑戰，因為機器學習的更精準模型需要大量的訓練數據為支撐。

自2013年斯諾登的“棱鏡”事件以來，全球信息泄露規模連年加劇，引起社會的廣泛關注。2016年9月，Yahoo被曝出曾被黑客盜取了至少5億的用戶賬號信息；2017年，微軟Skype軟件服務遭受DDOS攻擊，導致用戶無法通過平臺上進行通信；2018年3月，美國《紐約時報》和英國《衛報》均報道：劍橋分析(Cambridge Analytica)數據分析公司在未經用戶許可的情況下，盜用了高達5千萬Facebook的用戶個人資料。2019年，美國網絡安全公司UpGuard發現上億條保存在亞馬遜AWS云計算服務器上的Facebook用戶信息記錄，可被任何人輕易地獲取；IBM在未經當事人許可的情況下，從網絡圖庫Flickr上獲得了接近100萬張照片，借此訓練人臉識別程序，并與外部研究人員分享。2020年4月，華盛頓郵報報道視頻會議軟件Zoom存在的重大安全漏洞：數以萬計的私人Zoom視頻被上傳至公開網頁，任何人都可在線圍觀，很多視頻都包含個人可識別信息，甚至是在家里進行的私密談話。信息泄露的途徑主要分為內部人員或第三方合作伙伴泄露，信息系統無法杜絕漏洞，機構本身的防護機制不健全，對數據的重要程度不敏感，以及對安全配置的疏忽大意等。可見，數據隱私的泄露已不單單是滿足某些外部人員好奇心所驅使，而是已成為一種重要的商業獲利而被廣泛關注，其中不乏內外勾結、合謀獲取用戶的隱私等行為。

由于DNNs模型的權重和偏置不易被人類所理解，所以它具有不易解釋性的性質，我們可以將DNNs模型理解為一個內部滿了數字的黑匣子。對于這樣一個黑匣子，我們無法對其窮舉測試，因此模型的預測結果對于未測試的數據可能存在安全風險。2018年，有科研人員提出了一種針對神經網絡的攻擊方法Trojaning Attack。該方法具有很強的隱蔽性，他們首先對神經網絡進行反向處理，生成一個通用的觸發器，然后用反向工程的訓練數據重新訓練模型，從而向模型注入惡意行為。使用該攻擊模型，可以造成嚴重的后果，如在自動駕駛領域可造成交通事故，將任何添加了觸發器的人臉都識別為某個特定的人等。