[發明專利]一種基于在線學習的邊云協同支持向量機的模型優化方法

有效

• 申請號: 202011152761.0
• 申請日: 2020-10-23
• 公開（公告）號: CN112287990B
• 公開（公告）日: 2023-06-30
• 發明（設計）人: 楊樹森;趙鵬;韓青;張靖琪;趙聰;任雪斌;王路輝;王藝蒙
• 申請（專利權）人: 杭州卷積云科技有限公司
• 主分類號: G06F18/2411
• 分類號: G06F18/2411;G06N20/10;G06F9/455;H04L67/10
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 賀小停

本發明公開了一種基于在線學習的邊云協同支持向量機的模型優化方法，該方法能夠有效地利用邊緣處有限的計算和通信資源以獲取最佳的分布式SVM分類算法性能。提出“Learning?to?Learn”的框架，用于在具有資源約束的異構邊緣端服務器上進行有效的邊云協同SVM學習。各個邊緣端服務器獨立的從云端服務器讀取當前時刻的全局模型參數至本地服務器，從本地數據集中隨機抽取一個小批量數據并在此批上進行SVM分類的迭代訓練，隨后將局部參數上傳至云端服務器完成全局參數的更新。將每個邊緣端服務器在云端服務器的協同策略的動態確定建模為在線優化問題，并設計了基于預算受限的時變資源消耗的Multi?MAB模型的在線學習算法。同時本發明支持異步的學習模式，可用于監督學習任務。

技術領域

本發明屬于邊緣計算/機器學習領域，具體涉及一種基于在線學習的邊云協同支持向量機的模型優化方法。

背景技術

SVM(Support?Vector?Machines，支持向量機)是一種按監督學習的方式對數據進行二分類的線性分類器，其分類邊界是對學習樣本求解的最大間隔超平面。SVM克服了很多傳統分類模型的過學習、局部極值點和維數災難等缺點，已成為當前國內外機器學習領域備受關注的研究熱點。

隨著物聯網的快速發展和4G/5G無線網絡的普及，邊緣網絡服務的智能設備和傳感器的數量及產生的數據量急劇增加。而可用于SVM分類的數據通常分布在各邊緣端服務器上，要將所有數據統一匯聚到云端服務器以用于集中式SVM分類會消耗大量網絡帶寬，同時也存在諸如響應不及時、功耗高等問題。為了克服上述挑戰，移動邊緣計算(MEC)范例被提出，利用分布式邊緣節點/服務器(如筆記本電腦、智能手機)的計算能力基于本地數據進行機器學習迭代，再將本地的模型參數上傳至云端服務器進行全局模型更新。與傳統的云計算范例相比，雖然其在帶寬，延遲和保護隱私方面表現出巨大優勢，但邊緣端服務器通常只有有限的計算和存儲資源，且它們與云的通信延遲也不同，因此仍然缺乏可以部署在異構且資源受限的邊云系統中的算法。要同時解決邊緣異質性和資源約束問題具有重要意義，但也具有難度：1)同步算法對于異構邊緣資源是低效的，而對于異步算法，則很難在數學上精確建立SVM模型準確性與邊緣資源消耗之間的關系；2)在實時動態系統中，本地的訓練數據和異構邊緣資源都可能是時變的，這將對邊云協同SVM的最優決策產生不可預測的影響。

發明內容

本發明的目的在于提供一種基于在線學習的邊云協同支持向量機的模型優化方法，以解決上述問題。

為實現上述目的，本發明采用以下技術方案：

一種基于在線學習的邊云協同支持向量機的模型優化方法，包括以下步驟：

步驟1，初始化學習參數：云端服務器初始化全局支持向量機SVM參數，作為決策邊界的超平面的法向量和截距w(0)，本地迭代所用數據批量大小b，各邊緣服務器總資源約束R，針對每個邊緣服務器的MAB臂的個數K，每個臂對應的迭代次數p(K)；

步驟2，下發全局模型參數和迭代次數：云端服務器發送當前時刻t的全局模型參數w(t)和迭代次數p(K)至所有邊緣端服務器N_i；

步驟3，迭代更新本地模型參數：邊緣端服務器在本地數據集中隨機抽取一個數據量為b的batch，基于這個batch使用隨機梯度下降的方法，分別對超平面的法向量和截距求梯度，按它們的梯度負方向來對超平面的法向量和截距執行更新，進行p(K)次迭代訓練，得到新的本地超平面參數w_i(t)；

步驟4，獲取資源消耗量：記錄邊緣端服務器N_i本地迭代訓練所消耗的時間c_i,1和邊緣端服務器向云端服務器上傳參數所消耗的時間c_i,2，更新各邊緣端服務器的總資源約束R；