[發明專利]基于聯邦學習進行數據分析的方法及系統

在審

• 申請號: 202110359726.4
• 申請日: 2021-04-02
• 公開（公告）號: CN113052333A
• 公開（公告）日: 2021-06-29
• 發明（設計）人: 蔣鑫龍;陳前;陳益強;張騰;王永斌;張忠平;肖益珊
• 申請（專利權）人: 中國科學院計算技術研究所
• 主分類號: G06N20/20
• 分類號: G06N20/20;G06F21/62
• 代理公司: 北京泛華偉業知識產權代理有限公司 11280
• 代理人: 王勇

本發明提供了一種基于聯邦學習進行數據分析的方法和系統，該方法采用了基于聯邦學習建立的本地任務模型，其中，本地任務模型通過以下方法建立：基于訓練樣本數據構建面向指定特征的數據子圖；利用數據子圖訓練本地任務模型；提取本地任務模型的模型參數上傳至服務器以更新服務器模型參數，并利用更新后的服務器模型優化本地任務模型；重復上述步直至服務器模型收斂，基于收斂后的服務器模型優化本地任務模型。通過本發明的方法，能夠在保護用戶隱私的前提下，挖掘不同用戶數據之間特異性特征與深度關聯，利用圖數據結構信息優化本地模型，實現對本地數據的精確分析和判斷。

技術領域

本發明涉及計算機數據挖掘領域，尤其涉及基于聯邦學習進行數據分析的方法及系統。

背景技術

在人工智能時代，機器學習依賴于大量的優質數據。然而受行業規范、數據安全標準和用戶隱私擔憂的約束，不同企業之間缺乏有效的信息互通與協作，彼此數據封閉孤立，以“信息孤島”的形式存在。甚至即使是在同一個企業的不同部門之間，實現數據集中整合也面臨著重重阻力。以醫療保健體系為例，各醫療機構擁有的用戶數據相互隔離，單一醫療機構獲得的用戶數據量有限，難以訓練得到優質的機器學習模型，因此無法采用傳統集中式方法訓練機器學習模型，導致大量數據無法被充分利用和準確分析。

聯邦學習可以使得各參與方的自有數據不出本地，即在不違反數據隱私法規情況下，最大化發掘數據的價值，實現安全多方聯合建模、多方共同獲益。然而，現有的聯邦學習在學習過程中數據隱私保護級別不高，建立的本地任務模型的性能非常有限。

因此，亟需一種更加安全、準確的進行數據分析的方法和系統。

發明內容

因此，本發明實施例的目的在于克服上述現有技術的缺陷，提供一種基于聯邦學習訓練服務器模型的方法，包括：獲取多個本地任務模型的模型參數；通過同態加密和差分擾動的方法將所述多個本地任務模型的模型參數進行安全聚合；以及利用聚合后的模型參數更新當前的服務器模型。

本發明另一方面提供一種基于聯邦學習建立本地任務模型的方法，包括：基于訓練樣本數據構建面向指定特征的數據子圖；利用所述數據子圖訓練本地任務模型；提取所述本地任務模型的模型參數上傳至服務器以更新服務器模型參數，并利用根據上述方法獲得的更新后的服務器模型優化所述本地任務模型；重復上述步驟直至所述服務器模型收斂，基于收斂后的所述服務器模型優化所述本地任務模型。

在一個實施例中，所述基于所述訓練樣本數據構建面向指定特征的數據子圖包括：依據所述指定特征，以所述訓練樣本數據中相關用戶的用戶屬性信息作為結點，以所述相關用戶之間的關聯關系作為邊，構建面向所述指定特征的數據子圖。

在一個實施例中，上述方法包括：基于所述數據子圖，計算面向指定特征的特征描述以訓練本地任務模型，所述特征描述包括用戶屬性信息、關聯關系的統計特征以及圖層面特征，所述本地任務模型為卷積神經網絡模型。

在一個實施例中，上述方法包括：將所述數據子圖輸入本地任務模型進行訓練，所述本地任務模型為圖神經網絡模型。

在一個實施例中，上述方法還包括：依據所述預定的任務需求，利用本地訓練樣本數據對優化后的所述本地任務模型進行微調。

本發明另一方面提供一種基于聯邦學習進行數據分析的方法，包括：獲取待分析的數據；以及利用根據上述任一方法獲得的本地任務模型分析所述數據。

在一個實施例中，上述方法還包括：對所述待分析的數據進行本地化差分隱私保護。

本發明另一方面提供一種基于聯邦學習進行數據分析的系統，包括：接口模塊，用于獲取待分析的數據；以及分析模塊，用于利用根據上述方法獲得的本地任務模型分析所述數據。

本發明另一方面提供一種存儲介質，其中存儲有計算機程序，在所述計算機程序被處理器執行時，能夠用于實現上述任一項所述的方法。