[發明專利]基于可信執行環境的跨域聯邦學習方法及系統

有效

• 申請號: 202210354376.7
• 申請日: 2022-04-06
• 公開（公告）號: CN114492846B
• 公開（公告）日: 2022-08-26
• 發明（設計）人: 邢炬;左磊
• 申請（專利權）人: 天聚地合(蘇州)科技股份有限公司
• 主分類號: G06F21/57
• 分類號: G06F21/57;G06F9/445;G06N20/00
• 代理公司: 北京德崇智捷知識產權代理有限公司 11467
• 代理人: 王欣

本申請公開了一種基于可信執行環境的跨域聯邦學習方法及系統，屬于機器學習技術領域。所述方法包括：任務開發方將在開發環境中生成的聯邦學習任務發送給平臺控制器；平臺控制器將聯邦學習任務發送給參與方，將根據聯邦學習任務生成的配置信息發送給參數聚合集群；參與方根據聯邦學習任務進行模型訓練，將每一輪訓練的中間參數發送給參數聚合集群；參數聚合集群根據配置信息進行集群配置和底層網絡配置，根據集群配置和底層網絡配置在可信執行環境中聚合中間參數，將聚合后的中間參數發送給參與方繼續訓練；對最后一輪訓練的中間參數進行聚合后，參數聚合集群將該中間參數作為模型參數發送給任務開發方。本申請能夠提高參數精度和參數聚合效率。

技術領域

本申請涉及機器學習技術領域，特別涉及一種基于可信執行環境的跨域聯邦學習方法及系統。

背景技術

數據主權和安全問題日益突出，出于對數據主權的尊重和對數據安全的保障，聯邦學習作為一種新的機器學習范式被提出，并被逐步推廣應用于各類數據要素主體的協作中。由于實際的訓練過程在參與方本地完成，原始數據并未出參與方，該范式能夠切實保障數據安全和數據主權。在實際產業中，不同機構之間存在大量的數據協作應用需求，聯邦學習技術的出現為跨機構的數據價值流動提供了有效手段。

為了保障參數聚合的安全，各類聯邦學習技術通常利用安全手段對參數聚合過程進行加固，加固的主要方式有多方安全計算技術、差分隱私、同態加密技術等。

多方安全計算和同態加密方案具有較大性能開銷（線上和線下），且為了兼顧性能，在實際使用中往往會對數據進行截斷，造成精度損失；差分隱私方案雖然能夠從統計意義上防止參數泄露，但由于噪聲的引入對聚合的數據精度會產生影響；另外，這些加固方式會降低參數聚合效率。

發明內容

本申請提供了一種基于可信執行環境的跨域聯邦學習方法及系統，用于解決利用安全手段對參數聚合過程進行加固時，降低參數精度和參數聚合效率的問題。所述技術方案如下：

一方面，提供了一種基于可信執行環境的跨域聯邦學習方法，用于包含任務開發方、聯邦學習系統和參與方的訓練系統中，所述聯邦學習系統中包含參數聚合集群、平臺控制器和開發環境，所述方法包括：

所述任務開發方在所述開發環境中生成聯邦學習任務，將所述聯邦學習任務發送給所述平臺控制器，所述聯邦學習任務中包含待訓練模型的參數及指標信息、模型結構信息、數據準備信息和預定數據類型，所述參數及指標信息用于指示所述模型的模型參數和訓練指標，所述模型結構信息用于指示所述模型的模型結構，所述數據準備信息用于指示所述模型的訓練數據的聲明，以使分布式數據源按照所述聲明對應的處理流程準備所述訓練數據，所述預定數據類型用于指示所述聯邦學習系統提供的邏輯數據抽象，以使分布式的訓練數據抽象為完整數據集；

所述平臺控制器將所述聯邦學習任務發送給所述參與方，并根據所述聯邦學習任務生成配置信息，將所述配置信息發送給所述參數聚合集群；

所述參與方根據所述聯邦學習任務進行模型訓練，并將每一輪訓練得到的中間參數發送給所述參數聚合集群；

所述參數聚合集群根據所述配置信息進行集群配置和底層網絡配置，并根據所述集群配置和底層網絡配置在可信執行環境中聚合所述中間參數，將聚合后的中間參數發送給所述參與方繼續訓練；

當對最后一輪訓練的中間參數進行聚合后，所述參數聚合集群將聚合后的中間參數作為模型參數發送給所述任務開發方。

在一種可能的實現方式中，所述方法還包括：

所述平臺控制器根據所述聯邦學習任務生成會話令牌，將所述會話令牌發送給所述任務開發方；

所述任務開發方修改所述聯邦學習任務中的至少一種信息，將修改后的聯邦學習任務和所述會話令牌發送給所述平臺控制器，所述至少一種信息為所述參數及指標信息、所述模型結構信息和所述數據準備信息中的至少一種；