[發明專利]面向智能移動終端實現的聯邦機器學習遷移方法與系統

有效

• 申請號: 202110289436.7
• 申請日: 2021-03-18
• 公開（公告）號: CN112884164B
• 公開（公告）日: 2023-06-23
• 發明（設計）人: 邢廷炎;施凱陽;周長兵
• 申請（專利權）人: 中國地質大學（北京）
• 主分類號: G06N20/00
• 分類號: G06N20/00;G06F18/25;G06N3/08
• 代理公司: 北京君莫知識產權代理事務所(普通合伙) 11715
• 代理人: 崔云鶴

1.一種面向智能移動終端實現的聯邦機器學習遷移系統，包括分布在不同地址的多個設備(1)、智能移動終端(2)；每個設備(1)包括數據清理模塊(3)、數據傳感模塊(6)和數據讀取模塊(11)；

數據訓練融合子模塊(4)，所述數據訓練融合子模塊(4)設置于部分所述設備(1)上；數據訓練聯合模塊(5)，所述數據訓練聯合模塊(5)設置于所述智能移動終端(2)上；所有所述設備(1)都包括單機存儲模塊(7)，設置有所述數據訓練融合子模塊(4)的所述設備(1)上設置局域數據存儲模塊(8)，設置有所述數據訓練聯合模塊(5)的所述設備(1)設置有全局數據存儲模塊(9)；

聯邦機器學習調度模塊(10)，所述聯邦機器學習調度模塊(10)設置于所述智能移動終端(2)上，用于對所有參與聯邦機器學習的所述設備(1)進行數據訓練調度操作；所述聯邦機器學習調度模塊(10)數據通信連接所述數據讀取模塊(11)、所述數據訓練融合子模塊(4)和所述數據訓練聯合模塊(5)；所述單機存儲模塊(7)還分別和所述數據清理模塊(3)和數據讀取模塊(11)數據通信連接；所述聯邦機器學習調度模塊(10)和所述數據讀取模塊(11)、所述數據訓練融合子模塊(4)和所述數據訓練聯合模塊(5)進行數據通信時采用標準化數據接口，可以實現其中的設備標準化替換；

其特征在于：所述設備(1)在運行時，安裝在所述設備(1)上的所述數據傳感模塊(6)獲取該設備(1)上的運行數據和結果數據，形成數據記錄，并將所述數據記錄存儲于所述設備(1)的所述單機存儲模塊(7)，所述數據清理模塊(3)讀取存儲于所述單機存儲模塊(7)中的所述數據記錄，并利用數理統計方法和設定的要求去分析每條所述數據記錄，在發現某條數據記錄出現明顯不合理時，將該條數據記錄刪除；

所述聯邦機器學習調度模塊(10)對所有的設備(1)進行分組，將所有的所述設備(1)按照一定的規則分成數個分組，并保證每個所述分組中的所述設備(1)中存在至少一個所述數據訓練融合子模塊(4)，并指定其中的一個所述數據訓練融合子模塊(4)為該所述分組的數據訓練融合子模塊和對應于的所述局域數據存儲模塊(8)用于存儲該分組的數據和數據聯邦子模型；

所述聯邦機器學習調度模塊(10)還將所述分組的信息發送給所述數據讀取模塊(11)、所述數據訓練融合子模塊(4)和所述數據訓練聯合模塊(5)，并且修改所述數據讀取模塊(11)、所述數據訓練融合子模塊(4)和所述數據訓練聯合模塊(5)的所述數據記錄的讀取權限，以保證相應的數據能夠實現數據記錄的存??；所述數據訓練融合子模塊(4)依據所述聯邦機器學習調度模塊(10)分配的讀取權限，和其對應的分組的所述數據讀取模塊(11)建立數據通信連接，從而所述數據訓練融合子模塊(4)通過所述數據讀取模塊(11)讀取存儲于所述單機存儲模塊(7)中存儲的數據記錄進行數據學習訓練，得出該分組的數據聯邦子模型，并將該分組的數據聯邦子模型和隨機從獲得該數據聯邦子模型中應用的數據記錄中抽取一定量的數據記錄發送給對應的所述局域數據存儲模塊(8)；

所述數據訓練聯合模塊(5)讀取存儲于所述局域數據存儲模塊(8)中的所述數據聯邦子模型和所述數據記錄，對所有所述聯邦子模型采取參數加權的模式得出總的數據聯邦模型，并利用讀取的抽取的數據記錄進行數據訓練，從而得出總的數據聯邦模型，并發送給所述全局數據存儲模塊(9)進行存儲；

所述聯邦機器學習調度模塊(10)從所有設備(1)上的所述單機存儲模塊(7)任意抽取一定數量的數據記錄，用于對所述總的數據聯邦模型進行校驗，在所述數據記錄利用該總的數據聯邦模型進行校驗中，數據輸出和數據記錄中的數據符合模型精度要求時，則該總的數據聯邦模型建立完成，否則，在所述局域數據存儲模塊(8)中儲存的隨機抽取的數據記錄重新隨機抽取，并再次利用所述數據訓練聯合模塊(5)進行建立總的數據聯邦模型的過程；

其中，將所有的所述設備(1)按照一定的規則分成數個分組為：在利用所述聯邦機器學習調度模塊(10)對所有的設備(1)進行分組時，預先獲取各所述設備(1)的數據記錄量的大小，并且分組時，將數據記錄量大的在同一分組，而數據記錄量小的為一個分組，以便防止數據記錄量大的數據記錄在進行數據訓練時淹沒了數量記錄量小的數據；在利用所述聯邦機器學習調度模塊(10)對所有的設備(1)進行分組時，預先獲取各所述設備(1)的數據記錄量的大小，并且分組時，對數據記錄量大的分組的所述設備(1)的數量少，而數據記錄量小的分組，所述設備(1)的數量多。