[發明專利]面向智能移動終端實現的聯邦機器學習遷移方法與系統

有效

• 申請號: 202110289436.7
• 申請日: 2021-03-18
• 公開（公告）號: CN112884164B
• 公開（公告）日: 2023-06-23
• 發明（設計）人: 邢廷炎;施凱陽;周長兵
• 申請（專利權）人: 中國地質大學（北京）
• 主分類號: G06N20/00
• 分類號: G06N20/00;G06F18/25;G06N3/08
• 代理公司: 北京君莫知識產權代理事務所(普通合伙) 11715
• 代理人: 崔云鶴

本發明公開了一種包括分布在不同地址的多個設備(1)、智能移動終端(2)；每個設備(1)包括數據清理模塊(3)、數據傳感模塊(6)和數據讀取模塊(11)；數據訓練融合子模塊(4)，所述數據訓練融合子模塊(4)設置于部分所述設備(1)上；數據訓練聯合模塊(5)，所述數據訓練聯合模塊(5)設置于所述智能移動終端(2)上；所有所述設備(1)都包括單機存儲模塊(7)，設置有所述數據訓練融合子模塊(4)的所述設備(1)上設置局域數據存儲模塊(8)，設置有所述數據訓練聯合模塊(5)的所述設備(1)設置有全局數據存儲模塊(9)。本發明通過對設備和移動設備數據通信連接采用標準化接口模式，從而使得運算模塊可以同時對接多個需要進行聯邦機器學習的系統，使得數據訓練成本更低，增加了系統的可移植性。

技術領域

本發明涉及在計算機算法技術領域，具體為一種面向智能移動終端實現的聯邦機器學習遷移方法與系統。

背景技術

目前，隨著科學技術的進步，科學技術制造和自動化控制，已經從從前的制動化進入到智能化的時代。而在智能化的時代，為了實現人工智能化的控制，通常需要預先獲得足夠的知識，即相應的參數輸入和對應參數輸出，形成映射關系，并基于該參數輸入和對應的參數輸出，通過數據訓練方法和學習方法，從而得到更廣泛的輸入和輸出映射關系，進而提供給控制設備，以便實現智能化控制，而為了獲得這種映射關系，需要對大量的數據進行訓練和學習，而該過程通常是一個多維度的大型計算過程，因此該智能化的操作通常需要計算機或者微型計算機去處理眾多的邏輯關系，因此，其需要進行大量的數學計算和邏輯計算，這必然會提高對處理器的邏輯計算能力需求，而大規模集成電路或超大規模集成電路的運算處理能力，也直接影響到了其生產成本。而對有智能化的計算和人工智能的發展，其對處理器的運算處理能力需求進一步加強。但是大型計算能力的設備，通常體積大，或者固定式安裝，這需要針對每個聯合學習的系統專門設置聯合計算系統或提供計算設備，因此這種專門設置導致建造或改造成本高，而在其中的設備特別是處于核心或重要地位的設備出現故障時會導致系統癱瘓，這顯然不利于聯邦機器學習的進行。而目前也存在對分布在各地的數據進行聯合訪問和處理的技術，其能有效幫助多個機構在滿足用戶隱私保護、數據安全和政府法規的要求下，進行數據使用和機器學習建模，如：

如專利CN?111126609A公開了一種基于聯邦學習的知識遷移方法、裝置、設備和介質，其首先進行各不同訓練任務的各強化學習訓練模型的接收，進而進行對各所述預設強化學習訓練模型的適配，獲得強化學習適配模型，進而進行對各所述強化學習適配模型的聯邦處理，獲得聯邦模型，進而進行對所述聯邦模型的適配，獲得聯邦適配模型，進而將各所述聯邦適配模型發送至各所述強化學習訓練模型對應的訓練設備，以對各所述強化學習訓練模型進行迭代訓練。也即，本申請通過首先進行對各所述強化學習訓練模型的適配，實現了對不同訓練任務的各強化學習訓練模型的聯邦處理，獲得聯邦模型，進而對所述聯邦模型進行適配，獲得聯邦適配模型，進而實現了對不同訓練任務的各強化學習訓練模型的迭代訓練，也即，實現了基于聯邦學習的不同訓練任務的各強化學習訓練模型的知識的在線實時遷移，避免了進行知識遷移時花費訓練時間過長的情況發生，進而提高了知識遷移的遷移效率，所以，解決了現有技術中知識遷移效率低的技術問題。

專利CN112232528A公開了一種聯邦學習模型訓練方法、裝置及聯邦學習系統，邊緣計算服務器和端設備接收云端聯邦學習子系統形成的全局機器學習模型信息；一個邊緣計算服務器與一個以上的端設備利用網絡局部性的優勢形成區域，端設備依靠本地數據并采用截斷的方式完成模型本地訓練，邊緣計算服務器負責所轄區域內端設備的多輪更新并向云端聯邦學習子系統發送更新后的模型信息；邊緣計算服務器也采用截斷的方式完成模型本地訓練，云端聯邦學習子系統負責多個邊緣計算服務器的梯度更新；在訓練到達收斂期，分別對邊緣計算服務器所轄區域內端設備和云端聯邦學習子系統負責的多個邊緣計算服務器實施截斷節點的補償，形成全局機器學習模型信息。