[發明專利]保護神經網絡模型安全的方法及裝置

有效

• 申請號: 202011280172.0
• 申請日: 2020-11-16
• 公開（公告）號: CN112100628B
• 公開（公告）日: 2021-02-05
• 發明（設計）人: 王力;周俊
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06F21/57
• 分類號: G06F21/57;G06Q10/06;G06N3/04;G06N3/08
• 代理公司: 北京億騰知識產權代理事務所(普通合伙) 11309
• 代理人: 陳婧玥;周良玉

1.一種保護神經網絡模型安全的方法，包括：

獲取神經網絡模型，其中包括利用訓練數據訓練得到的多個網絡層；

針對所述多個網絡層中任意的第一網絡層，在固定其他網絡層參數的情況下，利用所述訓練數據對所述第一網絡層進行第一調參，得到與所述神經網絡模型對應的第一微調模型；

確定所述第一微調模型對應預設性能指標的第一指標值，所述預設性能指標的指標值取決于對應模型在測試數據上的測試損失和在所述訓練數據上的訓練損失之間的相對大小；

在固定所述其他網絡層參數的情況下，利用所述訓練數據和測試數據對所述第一網絡層進行第二調參，得到與所述神經網絡模型對應的第二微調模型；

確定所述第二微調模型對應所述預設性能指標的第二指標值；

基于所述第一指標值和所述第二指標值的相對大小，確定所述第一網絡層對應的信息敏感度；

在所述信息敏感度大于預定閾值的情況下，對所述第一網絡層進行安全處理；

其中，確定所述第一網絡層對應的信息敏感度，包括：

確定所述第一指標值和第二指標值的差值；

將所述差值與所述第一指標值之間比值的絕對值，確定為所述信息敏感度；或，將所述差值與所述第二指標值之間比值的絕對值，確定為所述信息敏感度。

2.根據權利要求1所述的方法，其中，確定所述第一微調模型對應預設性能指標的第一指標值，包括：

確定所述第一微調模型在所述測試數據上的第一測試損失；

確定所述第一微調模型在所述訓練數據上的第一訓練損失；

基于所述第一測試損失和第一訓練損失的差值，確定所述第一指標值。

3.根據權利要求1所述的方法，其中，對所述第一網絡層進行安全處理，包括：

將所述第一網絡層部署到可信執行環境TEE。

4.根據權利要求3所述的方法，其中，在將所述第一網絡層部署到可信執行環境TEE之后，所述方法還包括：

響應于對所述神經網絡模型的使用請求，獲取待預測的目標樣本；

通過在所述第一網絡層針對所述目標樣本輸出的原始數據中，添加用于實現差分隱私的噪聲，得到所述第一網絡層的最終輸出數據，用于確定所述目標樣本的預測結果。

5.根據權利要求1所述的方法，其中，對所述第一網絡層進行安全處理，包括：

在所述第一網絡層的網絡參數中添加用于實現差分隱私的噪聲，得到最終使用的網絡參數。

6.根據權利要求1所述的方法，其中，對所述第一網絡層進行安全處理，包括：

將經過所述第二調參的第一網絡層部署到可信執行環境TEE。

7.一種保護神經網絡模型安全的裝置，包括：

模型獲取單元，配置為獲取神經網絡模型，其中包括利用訓練數據訓練得到的多個網絡層；

第一調參單元，配置為針對所述多個網絡層中任意的第一網絡層，在固定其他網絡層參數的情況下，利用所述訓練數據對所述第一網絡層進行第一調參，得到與所述神經網絡模型對應的第一微調模型；

第一值確定單元，配置為確定所述第一微調模型對應預設性能指標的第一指標值，所述預設性能指標的指標值取決于對應模型在測試數據上的測試損失和在所述訓練數據上的訓練損失之間的相對大小；

第二調參單元，配置為在固定所述其他網絡層參數的情況下，利用所述訓練數據和測試數據對所述第一網絡層進行第二調參，得到與所述神經網絡模型對應的第二微調模型；

第二值確定單元，配置為確定所述第二微調模型對應所述預設性能指標的第二指標值；

敏感度確定單元，配置為基于所述第一指標值和所述第二指標值的相對大小，確定所述第一網絡層對應的信息敏感度；

安全處理單元，配置為在所述信息敏感度大于預定閾值的情況下，對所述第一網絡層進行安全處理；

其中，所述敏感度確定單元具體配置為：

確定所述第一指標值和第二指標值的差值；

將所述差值與所述第一指標值之間比值的絕對值，確定為所述信息敏感度；或，將所述差值與所述第二指標值之間比值的絕對值，確定為所述信息敏感度。