[發明專利]面向樣本稀疏性的聯邦學習方法及系統

在審

• 申請號: 202110371288.3
• 申請日: 2021-04-07
• 公開（公告）號: CN113128701A
• 公開（公告）日: 2021-07-16
• 發明（設計）人: 陳益強;陳前;蔣鑫龍;秦欣
• 申請（專利權）人: 中國科學院計算技術研究所
• 主分類號: G06N20/00
• 分類號: G06N20/00
• 代理公司: 北京泛華偉業知識產權代理有限公司 11280
• 代理人: 王勇

本申請提供了面向樣本稀疏性的聯邦學習方法及系統，包括由各個邊緣設備在基于本地數據對全局模型訓練后將得到的模型參數以及訓練用的特征向量上傳至云端服務器；由云端服務器將從各邊緣設備收到的特征向量形成多模態特征聯合表示并對來自各個邊緣設備的模型參數進行聚合；由云端服務器利用多模態特征聯合表示對經聚合后的全局模型進行訓練并將訓練后的模型參數和多模態特征聯合表示下發至各個邊緣設備；以及由每個邊緣設備對從云端服務器收到的全局模型進行遷移學習以得到相應的本地模型。該方案有效聯合多個不同模態數據的參與方進行模型的協同訓練，在兼顧用戶隱私的同時改善了模型精度。

技術領域

本發明涉及機器學習和數據處理技術，尤其涉及邊緣設備與云端服務器協同處理數據的方法和系統。

背景技術

傳統的機器學習方法基于大量的樣本數據集進行訓練，來獲得適合于不同任務和場景的機器學習模型。這些樣本數據通常從不同的用戶、設備和系統收集并集中存儲。在實際應用場景中，這種收集樣本數據進行數據分析的方式面臨許多問題。一方面，這種方式有損害數據隱私和安全性的潛在威脅，在某些應用程序場景(例如金融和政府行業)中，由于數據隱私和安全要求的限制，無法進行集中式數據存儲。另一方面，這種方式增加了通信開銷。對于某些嚴重依賴移動設備的應用程序，此類數據聚合的通信開銷成本可能會很大。

目前通常采用聯邦學習框架來幫助多個機構在滿足用戶隱私保護、數據使用合規合法的要求下進行機器學習建模，各參與方依賴于各自本地數據訓練模型，云端服務器對多個參與方的模型參數進行平均優化后將優化的參數返回至各參與方供其使用。然而在這樣的聯邦學習模式下，各參與方本地擁有的數據量小，經常由于樣本不足而影響模型的精度；并且各個參與方需要基于相同類型的數據集進行訓練，這顯然難以滿足不同類型參與方的協同需求。

發明內容

本發明的目的是提供一種面向樣本稀疏性的聯邦學習方法及系統，能有效聯合多個不同模態數據的參與方進行模型的協同訓練，在兼顧各參與方數據的安全和隱私的同時改善模型的精度。

上述目的是通過以下技術方案實現的：

根據本發明實施例的第一方面，提供一種面向樣本稀疏性的聯邦學習方法，包括：由參與協同訓練的每個邊緣設備根據來自云端服務器的全局模型，利用預設的特征提取模型從其本地數據中提取與該全局模型相對應的特征向量，并基于所提取的特征向量對當前的全局模型進行訓練；由每個邊緣設備將經訓練后得到的模型參數以及所提取的特征向量上傳至云端服務器；由云端服務器通過預設的表示學習模型從來自各邊緣設備的所有特征向量中獲取多模態特征聯合表示；由云端服務器對來自各個邊緣設備的模型參數進行聚合，并基于所獲取的多模態特征聯合表示對經聚合后的全局模型進行訓練并將訓練后的模型參數和多模態特征聯合表示下發至各個邊緣設備；由每個邊緣設備基于來自云端服務器的模型參數構建新的全局模型，并基于本地提取的特征向量和所接收的多模態特征聯合表示對所構建的新的全局模型進行微調訓練，以得到其對應的本地模型。

在一些實施例中，參與協同訓練的各個邊緣設備可以具有不同模態的本地數據。

在一些實施例中，參與協同訓練的各個邊緣設備可以采用同一特征提取模型或不同的特征提取模型從其本地數據中提取與全局模型相對應的特征向量。在一些實施例中，所述特征提取模型可以為下列之一：卷積神經網絡、循環神經網絡、深度神經網絡。

在一些實施例中，云端服務器所使用的表示學習模型可以為下列之一：卷積神經網絡、循環神經網絡、深度神經網絡、受限波爾茲曼機。

在一些實施例中，所述全局模型可以為下列之一：卷積神經網絡、循環神經網絡、深度神經網絡、受限波爾茲曼機。