[發明專利]一種擴散自適應網絡學習方法、系統、終端及存儲介質

有效

• 申請號: 202011521741.6
• 申請日: 2020-12-21
• 公開（公告）號: CN112688809B
• 公開（公告）日: 2023-10-03
• 發明（設計）人: 張萌飛;靳丹琦;陳捷;雷攀
• 申請（專利權）人: 聲耕智能科技(西安)研究院有限公司
• 主分類號: H04L41/14
• 分類號: H04L41/14;G06N3/084
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 王艾華

一種擴散自適應網絡學習方法、系統、終端及存儲介質，方法包括隨機梯度下降過程和時間平均減小方差隨機梯度下降過程，在隨機梯度下降過程中，分布式網絡每個節點運行P_k次最小均方策略并收集這P_k次運行中接收到的輸入數據；在時間平均減小方差隨機梯度下降過程中，通過使用之前收集到的數據對長度為P_k的時間窗里的隨機梯度求平均值得到一個平均梯度的估計值，并在接下來的m次迭代計算中使用該估計值來更新減小方差的權重方程。同時提出一種擴散自適應網絡學習系統、終端及存儲介質。本發明克服了傳統的減小方差隨機梯度下降算法無法用于在線學習環境這一弊端，并將其應用在自適應擴散網絡算法中，從而提高了分布式擴散網絡的在線估計性能。

技術領域

本發明屬于自適應信號處理領域，涉及一種擴散自適應網絡學習方法、系統、終端及存儲介質，基于減小隨機梯度方差實現擴散自適應網絡的在線學習。

背景技術

在多節點網絡中，由于節點物理位置的分散，并考慮節點間通信能力的限制以及安全性和穩健性等要求，網絡不能夠大規模傳遞數據并采用集中式策略將所有的數據匯總于中心節點進行分析，這就體現分布式處理的需求；而在大數據的背景下，數據往往是隨時間以流狀的方式進行采集的，每一個時刻都需要對系統模型或參數進行重新估計，此外，系統模型及參數狀態有可能會隨時間產生漂移，這就體現了在線式處理的需求。

分布式網絡中自適應算法的出現恰好滿足了這些需求。近十年來，該領域對分布式網絡中的自適應算法進行了大量研究，對其應用進行了探索。根據節點間的協作模式及信息流動方式，分布式網絡中的協作策略主要包括三種類型：增量策略，共識策略以及擴散策略。增量策略通過在網絡中形成一個哈密爾頓環路并依次訪問各個節點進行信息交互。雖然理論上增量策略所需的通信量很小，但在任意網絡中構建哈密爾頓環路本身便是一個NP-hard問題。此外，這樣的回路對節點或者鏈路的失效都非常敏感，因此增量策略并不完全適合于分布式在線自適應信號處理。在共識策略和擴散策略中，每個節點需要與其鄰居節點進行實時通信，并且利用自身與鄰居節點間的信息交換對網絡中的全局目標參數進行協同估計。由于每個節點每個時刻需要獲取所有鄰居節點的信息，這兩種策略需要的通信資源相比增量策略多，但是能夠充分利用分布式網絡結構中節點的協作性。此外，擴散式策略賦予節點具備連續適應和學習的能力，由于其可擴展性具有非常大的優勢，并已被證明比共識策略具有更優良的穩定性和動態范圍，因此是分布式自適應信號處理中的重點研究策略。分布式自適應擴散最小均方算法顯示是一種隨機梯度下降算法，隨機梯度的梯度噪聲將極大的阻礙算法的快速收斂。因此研究如何減小梯度噪聲的影響，對于改進基于擴散的分布式在線學習算法具有重要意義。在眾多備選方案中，脫穎而出的就是將方差減小隨機梯度算法運用到分布式自適應網絡中。方差減小隨機梯度算法設計為最小化定義在批處理所有數據樣本上的損失函數。典型算法包括隨機方差減少梯度(SVRG)算法和SAGA算法。SVRG算法采用兩個循環：真實梯度在外循環計算，減少方差隨機梯度下降在內循環計算。而SAGA算法只執行一次循環，但是需要更多的存儲空間來估計真實梯度，上述算法在性能上比原隨機梯度下降算法有了很大的改進，然而，它們的設計是基于批量收集的樣本，而不是通過在線學習問題中的流數據。

發明內容

本發明的目的在于針對上述現有技術中減小方差隨機梯度下降算法無法用于在線學習環境的問題，提供一種擴散自適應網絡學習方法、系統、終端及存儲介質，能夠將減小方差隨機梯度下降算法應用于擴散自適應網絡在線學習中，提高分布式擴散網絡的在線估計性能。

為了實現上述目的，本發明有如下的技術方案：