[發明專利]使用可信執行環境來進行神經網絡模型訓練的方法和裝置

在審

• 申請號: 202010030931.1
• 申請日: 2020-01-13
• 公開（公告）號: CN111260053A
• 公開（公告）日: 2020-06-09
• 發明（設計）人: 陸宇飛;王磊;王力
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04;G06F21/62;G06F21/60
• 代理公司: 北京永新同創知識產權代理有限公司 11376
• 代理人: 林錦輝;劉景峰

1.一種用于使用可信執行環境來進行神經網絡模型訓練的方法，所述神經網絡模型被依序分割為第一部分神經網絡模型和第二部分神經網絡模型，所述第一部分神經網絡模型位于第一設備的可信執行環境中，以及所述第二部分神經網絡模型位于第二設備的非可信執行環境中，所述方法包括：

執行下述循環過程，直到滿足循環結束條件：

將數據提供方的訓練樣本數據提供給所述可信執行環境中的當前第一部分神經網絡模型，得到中間結果；

將所述中間結果提供給所述非可信執行環境中的當前第二部分神經網絡模型，得到當前預測值；

基于所述當前預測值和所述訓練樣本數據的標簽值，確定當前預測差值；以及

在不滿足所述循環結束條件時，根據所述當前預測差值，調整所述當前第一部分神經網絡模型和所述當前第二部分神經網絡模型的各層模型參數，所述調整后的第一部分神經網絡模型和第二部分神經網絡模型用作下一循環過程的當前第一部分神經網絡模型和當前第二部分神經網絡模型。

2.如權利要求1所述的方法，其中，所述神經網絡模型的依序分割取決于下述參數中的至少一種：

所述神經網絡模型的分層結構組成；

各個分層結構的復雜度；

所述可信執行環境的存儲能力；

所述可信執行環境的算力；和

每輪模型訓練時使用的訓練樣本數目。

3.如權利要求1所述的方法，其中，所述數據提供方包括多個數據提供方，各個數據提供方所提供的訓練樣本數據是經過加密后的訓練樣本數據，所述第一設備設置在所述多個數據提供方之外的第三方，以及所述可信執行環境中還設置有數據融合單元，

將數據提供方的訓練樣本數據提供給所述可信執行環境中的當前第一部分神經網絡模型，得到中間結果包括：

將各個數據提供方的經過加密后的訓練樣本數據提供給所述可信執行環境中的數據融合單元；

在所述數據融合單元處，對所接收的訓練樣本數據進行解密和數據融合；以及

將經過數據融合后的訓練樣本數據提供給所述可信執行環境中的當前第一部分神經網絡模型，得到中間結果。

4.如權利要求1所述的方法，其中，所述數據提供方包括多個數據提供方，所述第一設備設置在所述多個數據提供方中的第一數據提供方中，除了所述第一數據提供方之外的其它數據提供方所提供的訓練樣本數據是經過加密后的訓練樣本數據，以及所述可信執行環境中還設置有數據融合單元，

將數據提供方的訓練樣本數據提供給所述可信執行環境中的當前第一部分神經網絡模型，得到中間結果包括：

將各個其它數據提供方的經過加密后的訓練樣本數據提供給所述可信執行環境中的數據融合單元；

在所述數據融合單元處，對所接收的訓練樣本數據進行解密，并且對所述第一數據提供方處的訓練樣本數據以及各個其它數據提供方的經過解密后的訓練樣本數據進行數據融合；以及

將經過數據融合后的訓練樣本數據提供給所述可信執行環境中的當前第一部分神經網絡模型，得到中間結果。

5.如權利要求1到4中任一所述的方法，其中，所述第一設備和所述第二設備是相同的設備或者不同的設備。

6.如權利要求1所述的方法，其中，所述第一部分神經網絡模型和所述第二部分神經網絡模型使用不同的模型架構實現，所述方法還包括：

在所述第一設備處，對所述中間結果進行適配處理；以及

在所述第二設備處，對所述當前第二部分神經網絡模型輸出的梯度信息進行適配處理。

7.如權利要求1所述的方法，其中，所述可信執行環境包括基于SGX的可信執行環境或基于TrustZone的可信執行環境。

8.如權利要求1到7中任一所述的方法，其中，所述循環結束條件包括：

循環次數達到預定次數；或者

當前預測差值在預定差值范圍內。