[發(fā)明專利]適用于人工智能物聯(lián)網(wǎng)異構系統(tǒng)的自適應聯(lián)邦學習方法

在審

• 申請?zhí)枺?/td>: 202211657566.2
• 申請日: 2022-12-22
• 公開（公告）號: CN116361639A
• 公開（公告）日: 2023-06-30
• 發(fā)明（設計）人: 王瑞錦;張鳳荔;周世杰;周潼;張志揚;賴金山;王金波;程帆;陳政;劉楠
• 申請（專利權）人: 電子科技大學
• 主分類號: G06F18/214
• 分類號: G06F18/214;G06N20/00
• 代理公司: 成都眾恒智合專利代理事務所(普通合伙) 51239
• 代理人: 王育信

本發(fā)明公開了一種適用于人工智能物聯(lián)網(wǎng)異構系統(tǒng)的自適應聯(lián)邦學習方法，包括：(1)終端設備進行本地模型訓練；(2)邊緣服務器收集終端設備能夠實際負載的工作量，以及將收集的模型參數(shù)進行局部聚合；同時邊緣服務器預測終端設備未來可以承受的工作量，并按照訓練價值高低選出終端設備繼續(xù)參與下一輪訓練；(3)邊緣服務器將局部聚合模型和預測的工作量發(fā)送給選擇的終端設備；同時，邊緣服務器還將局部聚合模型參數(shù)發(fā)送至云服務器；(4)云服務器將收集的局部聚合模型參數(shù)進行全局聚合，獲得全局聚合模型，然后返回至邊緣服務器。本發(fā)明解決了AIoT應用中因系統(tǒng)異構性和統(tǒng)計異構性導致出現(xiàn)掉隊者從而引起收斂速度減慢、模型精度降低的問題。

技術領域

本發(fā)明涉及聯(lián)邦學習技術領域，具體地說，是涉及一種適用于人工智能物聯(lián)網(wǎng)異構系統(tǒng)的自適應聯(lián)邦學習方法。

背景技術

聯(lián)邦學習是一種新穎的分布式機器學習框架，由谷歌在2017年提出，它能夠保證數(shù)據(jù)隱私，實現(xiàn)多設備共同建模，提升機器學習模型的訓練效果。傳統(tǒng)的集中式機器學習框架進行模型訓練時，需將終端設備數(shù)據(jù)集傳輸?shù)椒掌鬟M行訓練，而聯(lián)邦學習則通過在多個擁有本地數(shù)據(jù)的數(shù)據(jù)源之間進行分布式模型訓練，不需要上傳數(shù)據(jù)和模型到服務器，僅通過交換模型參數(shù)或中間結果的方式，構建基于虛擬融合數(shù)據(jù)下的全局模型，這種獨特的訓練過程實現(xiàn)了數(shù)據(jù)隱私保護和數(shù)據(jù)共享計算的平衡。

人工智能物聯(lián)網(wǎng)(AIoT)是人工智能技術(AI)與物聯(lián)網(wǎng)(IoT)在實際應用中的融合。AIoT結合AI技術和IoT技術，通過物聯(lián)網(wǎng)產生、收集來自不同設備的海量數(shù)據(jù)，并存儲于云端、邊緣端，再通過更高形式的人工智能，實現(xiàn)萬物數(shù)據(jù)化、萬物智聯(lián)化。IoT與AI相融合，最終追求的是形成一個智能化生態(tài)系統(tǒng)，在該系統(tǒng)內，實現(xiàn)了不同智能終端設備之間、不同系統(tǒng)平臺之間、不同應用場景之間的互融互通，萬物互融。在AIoT的應用中，隱私保護成了不可或缺的一方面，Wang?R等人提出了邊緣計算下醫(yī)療物聯(lián)網(wǎng)的隱私保護聯(lián)邦學習框架，可在不損失模型精度的情況下保護梯度隱私，還可以抵抗設備掉落和設備之間的串通攻擊，具有高效的特點。Kaifa?Zheng等人設計了一種高效可信的搜索模型，在物聯(lián)網(wǎng)背景下采用精確的多關鍵字模糊密文檢索方案；Wang?R等人提出了使用模型融合的多變量時間序列預測方案，該方案能在多個領域進行應用，Na?Wang等人提出了基于塊的隱私保護醫(yī)療保健數(shù)據(jù)在加密云文件系統(tǒng)中的排名檢索方案，在醫(yī)療物聯(lián)網(wǎng)中基于塊保護隱私，展現(xiàn)出了更好的搜索性能。

聯(lián)邦學習在隱私保護、移動設備上的機器學習方面展現(xiàn)出了良好的效果，同樣也可以對AIoT應用進行隱私保護。但是，由于聯(lián)邦學習側重于通過分布式學習所有終端設備的本地數(shù)據(jù)來獲得高質量的全局模型，服務器無法獲得每個終端設備的私有信息，從而導致推理或分類的性能下降。此外，傳統(tǒng)的聯(lián)邦學習需要所有參與設備就協(xié)同訓練的共同模型達成一致，這在復雜的AIoT應用中是不現(xiàn)實的。聯(lián)邦學習在實際的AIoT應用中面臨的問題有如下幾點：(1)各個設備在存儲、計算和通信能力方面存在異構性所導致的系統(tǒng)異構性問題；(2)各個設備本地數(shù)據(jù)的非獨立同分布(Non-Idependently?and?IdenticallyDistributed，Non-IID)所導致的數(shù)據(jù)異構性問題；(3)各個設備根據(jù)其應用場景所需要的模型異構性問題。