[發(fā)明專利]一種聯(lián)邦學習方法、裝置及聯(lián)邦學習系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202110722830.5
• 申請日: 2021-06-28
• 公開（公告）號: CN113487042B
• 公開（公告）日: 2023-10-10
• 發(fā)明（設計）人: 姜新;應志偉
• 申請（專利權）人: 海光信息技術股份有限公司
• 主分類號: G06N20/20
• 分類號: G06N20/20;G06F18/214;G06F21/71
• 代理公司: 北京市廣友專利事務所有限責任公司 11237
• 代理人: 張仲波

本申請的實施例公開了一種聯(lián)邦學習方法、裝置及聯(lián)邦學習系統(tǒng)，涉及安全技術領域，為便于提高聯(lián)邦學習過程中數(shù)據(jù)的安全性而發(fā)明。所述方法，包括：向數(shù)據(jù)參與方發(fā)送模型運行環(huán)境可執(zhí)行鏡像文件；向數(shù)據(jù)參與方發(fā)送參與方人工智能訓練模型；通過虛擬機加載全局人工智能訓練模型到第一安全隔離內存；第一安全隔離內存與所述中心服務器的CPU運行時所需的內存的運行環(huán)境相隔離；通過虛擬機接收數(shù)據(jù)參與方發(fā)送的中間迭代參數(shù)；中間迭代參數(shù)，由數(shù)據(jù)參與方利用本地數(shù)據(jù)集訓練參與方人工智能訓練模型得到；虛擬機根據(jù)所述中間迭代參數(shù)，計算全局模型參數(shù)，并基于全局模型參數(shù)判斷全局人工智能訓練模型的收斂是否符合預期值。本申請適用于訓練人工智能模型。

技術領域

本申請涉及安全技術領域，尤其涉及一種聯(lián)邦學習方法、裝置及聯(lián)邦學習系統(tǒng)。

背景技術

人工智能算法(AI，Artificial Intelligence)如機器學習和神經(jīng)網(wǎng)絡等的訓練需要大量且廣泛的高質量的數(shù)據(jù)集，但是這些數(shù)據(jù)往往保存在各個孤立的部門，由于隱私保護和安全法規(guī)等，無法把各部門的數(shù)據(jù)發(fā)布出來，以集中訓練高精度的人工智能算法。而聯(lián)邦學習算法在不需要數(shù)據(jù)擁有者提供原始數(shù)據(jù)的情況下，可以聯(lián)合各方數(shù)據(jù)來參與訓練高精度的AI算法模型。

現(xiàn)有的聯(lián)邦學習架構由全局模型(中心服務器)和數(shù)據(jù)擁有者(數(shù)據(jù)參與方)兩部分構成，如圖1。在聯(lián)邦學習的整個過程中，數(shù)據(jù)參與方始終只向中心服務器更新模型中間參數(shù)，并不需要把原始數(shù)據(jù)發(fā)送到服務器，而各個數(shù)據(jù)擁有者之間并不會彼此交換原始數(shù)據(jù)，保證本地數(shù)據(jù)的安全性。

然而，在現(xiàn)有的聯(lián)邦學習過程中，運行在中心服務器上和/或運行在數(shù)據(jù)參與方上的惡意程序，可以通過中間參數(shù)和/或全局模型的參數(shù)，利用一定的逆向技術手段探測訓練過程中的數(shù)據(jù)特征，造成數(shù)據(jù)泄露，降低了聯(lián)邦學習過程中的數(shù)據(jù)的安全性。

發(fā)明內容

有鑒于此，本申請實施例提供一種聯(lián)邦學習方法、裝置及聯(lián)邦學習系統(tǒng)，便于提高聯(lián)邦學習過程中的數(shù)據(jù)的安全性。

第一方面，本申請實施例提供一種聯(lián)邦學習方法，應用于中心服務器，包括：向數(shù)據(jù)參與方發(fā)送模型運行環(huán)境可執(zhí)行鏡像文件；其中，所述數(shù)據(jù)參與方為已向所述中心服務器注冊的數(shù)據(jù)參與方，所述模型運行環(huán)境可執(zhí)行鏡像文件為人工智能訓練模型的運行環(huán)境可執(zhí)行鏡像文件；向所述數(shù)據(jù)參與方發(fā)送參與方人工智能訓練模型，以使所述參與方人工智能訓練模型在所述數(shù)據(jù)參與方本地運行；通過第一虛擬機加載全局人工智能訓練模型到第一安全隔離內存；其中，所述第一虛擬機運行于所述中心服務器上，所述第一安全隔離內存與所述中心服務器的CPU運行時所需的內存的運行環(huán)境相隔離；通過所述第一虛擬機接收所述數(shù)據(jù)參與方發(fā)送的中間迭代參數(shù)；所述中間迭代參數(shù)，由所述數(shù)據(jù)參與方利用本地數(shù)據(jù)集訓練所述參與方人工智能訓練模型得到；所述第一虛擬機根據(jù)所述中間迭代參數(shù)，計算全局模型參數(shù)，并基于所述全局模型參數(shù)判斷所述全局人工智能訓練模型的收斂是否符合預期值。

根據(jù)本申請實施例的一種具體實現(xiàn)方式，所述通過第一虛擬機加載全局人工智能訓練模型到第一安全隔離內存，包括：通過第一安全處理器對全局人工智能訓練模型進行解密，得到第一數(shù)字簽名信息和解密后的全局人工智能訓練模型；其中，所述第一安全處理器為所述中心服務器的安全處理器；所述第一安全處理器根據(jù)所述第一數(shù)字簽名信息，對解密后的全局人工智能訓練模型進行驗證；如果通過驗證，則通過第一虛擬機加載解密后的全局人工智能訓練模型到第一安全隔離內存。

根據(jù)本申請實施例的一種具體實現(xiàn)方式，在向所述數(shù)據(jù)參與方發(fā)送參與方人工智能訓練模型之前，所述方法還包括：執(zhí)行數(shù)據(jù)參與方運行的執(zhí)行環(huán)境的接入操作；執(zhí)行數(shù)據(jù)參與方對中心服務器運行的執(zhí)行環(huán)境的認證操作，以及執(zhí)行對數(shù)據(jù)參與方運行的執(zhí)行環(huán)境的認證操作。