[發明專利]基于并行投影方法的L1正則化核學習機的分布式訓練方法

有效

• 申請號: 201510293837.4
• 申請日: 2015-06-01
• 公開（公告）號: CN104954972B
• 公開（公告）日: 2019-03-29
• 發明（設計）人: 侯義斌;及歆榮;侯翠琴
• 申請（專利權）人: 北京工業大學
• 主分類號: H04W4/38
• 分類號: H04W4/38;H04W84/18
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 沈波

基于并行投影方法的L1正則化核學習機的分布式訓練方法，屬于無線傳感器網絡中數據融合技術領域。本發明針對無線傳感器網絡下已有核學習機訓練方法存在的高通信代價問題，在節點本地模型與鄰居節點間的局部最優模型相一致的約束下，利用并行投影方法構建和求解基于L1正則化的核學習機的分布式訓練優化問題，利用交替方向乘子法對節點本地的L1正則化核學習機優化問題進行稀疏模型求解；僅依靠相鄰節點間傳輸稀疏模型的方式進行協作以進一步優化節點局部模型；當各節點收斂到局部穩定模型后，利用平均一致性算法實現各節點模型的全局一致。

技術領域

本發明涉及一種基于并行投影方法的L1正則化核學習機的分布式訓練方法，具體是一種針對無線傳感器網絡環境的L1正則化核最小平方誤差學習機的分布式訓練方法，可以用于無線傳感器網絡應用中基于核函數的分類器和回歸機的訓練，屬于無線傳感器網絡中數據融合技術領域。

背景技術

無線傳感器網絡(Wireless SensorNetwork,WSN)中，數據融合技術是降低網絡數據通信量、節省節點能耗和延長網絡壽命的重要措施之一。機器學習方法作為決策級融合的重要方法之一，在WSN中得到了日益廣泛的重視和應用。然而，在WSN中，訓練數據都分散在各傳感器節點上；通過多跳路由將所有訓練數據傳輸到數據融合中心進行集中式訓練，將會占用大量的帶寬且消耗節點的大量能量，這與WSN上節點能源替換代價非常高甚至不可替換、帶寬資源非常有限相沖突，同時也容易使數據中心周圍的節點成為整個系統的瓶頸。針對上述問題，通過相鄰節點間的相互協作，利用節點本身的計算能力，在網內分布式協同訓練分類器和回歸機的方法已經引起了眾多學者的研究和關注。核方法或稱核學習機(基于核函數機器學習方法的簡稱)，因統計學習理論和支持向量機(Support VectorMachine,SVM)的成功應用而受到廣泛關注和研究，現已成為機器學習的主流方法。核方法因其在解決非線性問題上的絕對優勢，已在許多實際應用領域中表現出非常出色的技術性能。但核方法是依賴訓練數據的，即利用核方法對未知數據進行分類或回歸預測時，會依賴參與模型訓練的訓練數據。因此，在訓練數據分散、節點能量和帶寬資源非常有限的WSN下，研究僅依賴相鄰節點間的協作，在網內分布式協同訓練核學習機的方法對減少通信代價、延長網絡生命周期以及核學習機的分布式學習理論研究都具有極其重要的意義。

針對WSN特點，已開展的核學習機的分布式訓練方法研究可歸納為基于拓撲結構或構建鏈路結構、基于共享數據一致、基于支持向量增量訓練三種研究思路。基于網絡拓撲或構建鏈路結構的典型研究有:英特爾伯克利實驗室的Guestrin C.等人和希臘克里特大學的Flouri.K等人；該研究思路需要關聯、構建和維護特定的鏈路結構，在通信鏈路不穩定、網絡拓撲動態變化的無線傳感器網絡下其維護代價非常高、計算也非常復雜且不具普適性。典型的基于共享數據一致的研究主要有:普林斯頓大學的Predd J.B.等人和美國明尼蘇達大學的Forero P.A等人；基于該思路的研究需要節點間有共享訓練數據，算法的收斂性、收斂速度及通信代價受共享訓練數據量及其分布特點的影響很大，算法的普適性和實用性都不強。基于支持向量增量訓練的研究思路是專門針對SVM核學習機分布式訓練方法的研究，主要利用了SVM的模型只與少量支撐向量相關的特性；該思路的典型研究包括:希臘克里特大學的Flouri.K等人和Yahoo公司的YumaoLu等人；基于該思路的研究由于SVM的稀疏性由其特殊的Hinge損失函數決定，已有的SVM分布式訓練算法仍存在通信代價大的問題，而且SVM的分布式訓練算法對其他核方法也不具有普適性。