[發(fā)明專利]一種邊緣數據處理方法、系統(tǒng)、裝置及介質

在審

• 申請?zhí)枺?/td>: 202111105110.0
• 申請日: 2021-09-22
• 公開（公告）號: CN113886073A
• 公開（公告）日: 2022-01-04
• 發(fā)明（設計）人: 陸以勤;沈雄;覃健誠;程喆
• 申請（專利權）人: 華南理工大學
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06N3/04;G06N3/08;G06N20/10
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 鄭宏謀

本發(fā)明公開了一種邊緣數據處理方法、系統(tǒng)、裝置及介質，其中方法包括：邊緣節(jié)點將數據按照數據類型保存到邊緣節(jié)點的邊緣存儲器中，當邊緣存儲器中同類型數據的存儲容量達到預設的容量存儲門限，將類型數據集傳輸到中心云端；中心云端接收并存儲邊緣節(jié)點傳輸的類型數據集，當類型數據集達到預設的訓練門限，確定需要訓練的機器學習算法，采用類型數據集對機器學習算法進行訓練；對比算法訓練前后的性能，將性能較優(yōu)的機器學習算法同步更新到中心云端和邊緣節(jié)點的機器學習算法池中。本發(fā)明在邊緣計算框架下動態(tài)更新邊緣節(jié)點機器學習算法參數，提高邊緣節(jié)點數據處理的準確性，降低邊緣節(jié)點處理數據的錯誤率，可廣泛應用于工業(yè)互聯網領域。

技術領域

本發(fā)明涉及工業(yè)互聯網領域，尤其涉及一種邊緣數據處理方法、系統(tǒng)、裝置及介質。

背景技術

工業(yè)互聯網是鏈接工業(yè)全系統(tǒng)、全產業(yè)鏈、全價值鏈，并且支撐工業(yè)智能化發(fā)展的關鍵基礎設施，是新一代信息技術與制造業(yè)深度融合所形成的新興業(yè)態(tài)和應用模式，是互聯網從消費領域向生產領域、從虛擬經濟向實體經濟拓展的核心載體，也是全球新一輪產業(yè)競爭的制高點。

針對工業(yè)互聯網中種類繁多的工業(yè)設備和工業(yè)控制系統(tǒng)的業(yè)務請求、復雜的工業(yè)網絡環(huán)境，海量工業(yè)數據的異構性、異源性、異主性，引入了邊緣計算的概念，以提高工業(yè)互聯網中數據的計算處理能力、降低工業(yè)互聯網中的網絡延遲。邊緣計算采用分布式架構，將之前由網絡中心節(jié)點處理的應用程序、數據資料與服務的運算交由網絡邏輯上的邊緣節(jié)點處理。邊緣計算將大型服務進行分解，切割成更小更容易處理的內容，把原本由中心節(jié)點處理的大型服務分散到邊緣節(jié)點。邊緣節(jié)點部署在更接近用戶終端的位置，這一特點顯著提高了數據傳送速度，進一步降低時延，同時邊緣節(jié)點采用分布式計算架構，使邊緣計算具有分布式計算的特點，能夠在靠近用戶側進行高效數據處理。邊緣計算可以有效緩解網絡帶寬壓力、增強服務響應能力、保護隱私數據。

邊緣計算框架下的邊緣節(jié)點，需要處理大量的異構異源數據，且需要得到及時響應，基于機器學習的邊緣緩存系統(tǒng)可以依據數據源的特征，有針對性的選擇適合的機器學習模型對數據進行處理，保證不同的工業(yè)互聯網數據在，同時機器學習模型可以利用用戶請求的數據，動態(tài)優(yōu)化機器學習模型參數，進一步提高機器學習的性能，完成數據處理、模型更新的良性循環(huán)。

目前現有邊緣計算框架下引入機器學習算法對數據進行處理常見的方法有以下幾種：

現有技術一：基于聯邦學習和邊緣計算的醫(yī)療數據處理。

原理：在醫(yī)療領域引入邊緣計算框架，采取聯邦學習算法，使用醫(yī)療歷史數據對聯邦學習進行訓練，生成有效模型以處理醫(yī)療數據。數據通過交換加密的參數進行模型訓練，保證個人對數據的控制權，大幅降低用戶數據泄露風險，實現醫(yī)療病數據共享和智能疾病數據處理。

優(yōu)點：聯邦學習現階段屬于較新穎的機器學習算法，在醫(yī)療領域數據處理方面具有創(chuàng)新性，并且聯邦學習能在保證數據隱私的情況下，把不同數據源的數據聯合訓練，得到更好的數據處理模型，具備安全性高、大數據分析能力強、接入便捷、高效率和低成本等優(yōu)勢。

缺點：該方法只針對于醫(yī)療領域的數據，在處理醫(yī)療領域的數據有較好的效果，在其他領域效果變差，缺乏一定的通用性，同時該方法沒有充分利用模型訓練之后所產生的歷史數據進一步提高機器學習模型的參數，浪費了后期積累的可用數據。

現有技術二：基于機器學習和邊緣計算的商業(yè)數據處理。

原理：通過邊緣爬蟲網絡計算方法以及用戶的輸入信息獲得待處理的商業(yè)數據，并對商業(yè)數據進行預處理操作，使用預處理數據對機器學習算法進行訓練，同時采用邊緣分布式計算過濾數據噪聲，以減少機器學習算法在計算過程中的壓力，提高訓練效率。

優(yōu)點：將網絡爬蟲技術和機器學習相結合，使用邊緣爬蟲網絡計算方法能夠有效獲取需要處理的數據，同時對數據的預處理可以提高機器學習的訓練效率，并采用了數據過濾技術去掉數據噪聲，進一步提高機器學習的訓練效率。