[發(fā)明專利]基于后門水印的深度學習模型加密方法和裝置

在審

• 申請?zhí)枺?/td>: 202110762575.7
• 申請日: 2021-07-06
• 公開（公告）號: CN113362216A
• 公開（公告）日: 2021-09-07
• 發(fā)明（設計）人: 陳晉音;劉濤
• 申請（專利權）人: 浙江工業(yè)大學
• 主分類號: G06T1/00
• 分類號: G06T1/00;G06N3/06;G06N3/08;G06N5/04
• 代理公司: 杭州天勤知識產(chǎn)權代理有限公司 33224
• 代理人: 曹兆霞

本發(fā)明公開了一種基于后門水印的深度學習模型加密方法和裝置，獲取正常樣本，利用正常樣本訓練深度學習模型，統(tǒng)計訓練好的深度學習模型每個神經(jīng)元的激活值，并從中選擇處在激活臨界的若干個神經(jīng)元作密碼神經(jīng)元并記錄；根據(jù)記錄固定密碼神經(jīng)元的激活值不變，利用正常樣本對深度學習模型再訓練；利用擾亂樣本對深度學習模型再訓練，以優(yōu)化所有神經(jīng)元的激活值，實現(xiàn)對深度學習模型的加密。基于后門水印改變樣本的決策邊界，使得訓練好的深度學習模型只有在特定的觸發(fā)器條件下才能正常工作，達到一個對深度學習模型加密的效果。

技術領域

本發(fā)明屬于面向深度學習模型的加密領域，具體涉及一種基于后門水印的深度學習模型加密方法和裝置

背景技術

機器學習技術在過去的幾年中取得了巨大的發(fā)展與成就，其中深度神經(jīng)網(wǎng)絡是最先進的人工智能服務的重要組成部分，在視覺分析、語音識別和自然語言處理等各種任務中表現(xiàn)出超越人類的水平。它們極大地改變了構思軟件的方式，并很快成為一種通用技術，更重要的是，它明顯優(yōu)于以前在這些領域使用的最先進的機器學習算法。

雖然深度神經(jīng)網(wǎng)絡在各個領域取得了顯著的進展，但訓練深度學習模型，尤其是將訓練好的深度學習投入商業(yè)使用仍然是一項不可忽視的任務。為此需要(1)能夠完全覆蓋潛在場景的大規(guī)模標記訓練數(shù)據(jù)集。(2)大量的計算能力，特別高性能的設備如GPU、TPU等。(3)長期訓練更新神經(jīng)網(wǎng)絡的參數(shù)。(4)相應的領域專業(yè)知識和工程知識來設計網(wǎng)絡結構和選擇超參數(shù)。因此，建立一個訓練有素的模型需要投入非常大的成本。在這種環(huán)境下，模型即代表了商業(yè)價值，必須對其進行保密，防止模型被推理竊取。

推理攻擊最早是由逆向工程線性復原垃圾郵件演變而來，最近的推理研究成果顯示，即便不知道受害者的體系結構也不知道訓練數(shù)據(jù)分布，也能在復雜模型上達到良好效果。推理攻擊者使用專門制作的樣本反復查詢目標模型，以通過模型返回的預測最大限度地提取關于模型內(nèi)部的信息。攻擊者利用這些信息逐漸訓練出一個替代模型。替代模型本身可用于構建未來的查詢，其響應用于進一步細化替代模型。對手的目標有兩點：一是使用替代模型來獲得未來的預測，繞過原始模型，從而剝奪其所有者的業(yè)務優(yōu)勢，二是構建可轉移的敵對示例，以后可以用來欺騙原始模型做出不正確的預測。

與推理攻擊蓬勃發(fā)展相反的是，針對于此的推理防御卻鮮有人關注，也很缺乏?，F(xiàn)有的防御策略旨在檢測竊取查詢模式，或者通過擾動降低預測后驗的質(zhì)量，但這并沒有關注到背后的實質(zhì)：推理竊取者想要利用模型的商業(yè)價值。若通過加密手段使得被竊取的模型失去商業(yè)價值，這樣一來竊取攻擊便失去了價值，從而達到保護深度學習模型的目的。

發(fā)明內(nèi)容

鑒于上述，本發(fā)明的目的是提供一種基于后門水印的深度學習模型加密方法和裝置，基于后門水印改變樣本的決策邊界，使得訓練好的深度學習模型只有在特定的觸發(fā)器條件下才能正常工作，達到一個對深度學習模型加密的效果。

第一方面，實施例提供的一種基于后門水印的深度學習模型加密方法，包括以下步驟：

獲取正常樣本，利用正常樣本訓練深度學習模型，統(tǒng)計訓練好的深度學習模型每個神經(jīng)元的激活值，并從中選擇處在激活臨界的若干個神經(jīng)元作密碼神經(jīng)元并記錄；

根據(jù)記錄固定密碼神經(jīng)元的激活值不變，利用正常樣本對深度學習模型再訓練；利用擾亂樣本對深度學習模型再訓練，以優(yōu)化所有神經(jīng)元的激活值，實現(xiàn)對深度學習模型的加密，其中，將正常樣本的標簽做翻轉得到擾亂樣本。

優(yōu)選地，所述統(tǒng)計訓練好的深度學習模型每個神經(jīng)元的激活值，并從中選擇處在激活臨界的若干個神經(jīng)元作密碼神經(jīng)元包括：

統(tǒng)計訓練好的深度學習模型每個神經(jīng)元的激活值，并對所有神經(jīng)元的激活值進行排序，依據(jù)排序結果選取處在激活臨界的神經(jīng)元組成密碼池，從密碼池中隨機選擇指定數(shù)量的神經(jīng)元作為密碼神經(jīng)元。

優(yōu)選地，針對由ReLU激活函數(shù)激活的神經(jīng)元，采用以下公式來搜索處在激活臨界的神經(jīng)元：