[發明專利]基于深度學習反饋結合邊緣計算的大數據處理系統

在審

• 申請號: 202010637720.4
• 申請日: 2020-07-05
• 公開（公告）號: CN111753967A
• 公開（公告）日: 2020-10-09
• 發明（設計）人: 刀鋒
• 申請（專利權）人: 刀鋒
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06F40/42
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明提出一種基于深度學習反饋的大數據處理系統，包括數據任務接收模塊、數據任務分析模塊、深度學習反饋模塊、數據任務分發模塊、邊緣計算終端以及云數據處理系統。數據任務接收模塊接收從多個互相獨立的輸入終端輸入的數據處理任務；數據任務分析模塊分析輸出數據處理任務的至少一個數據輸入屬性；深度學習反饋模塊與所述數據任務分發模塊連接所述數據任務分析模塊基于所述數據任務分析模塊輸出的數據輸入屬性，將所述數據處理任務傳送至所述邊緣計算終端和/或云數據處理系統。本發明的技術方案能夠基于輸入的數據處理任務的屬性參數尤其是輸入變化參數，深度學習反饋匹配對應的數據處理方式，實現大數據背景下的數據任務高效處理。

技術領域

本發明屬于大數據處理技術領域，尤其涉及一種基于深度學習反饋結合邊緣計算的大數據處理系統。

背景技術

隨著萬物互聯時代的到來，網絡中的設備變得復雜多樣，并且數量急劇增加。不可避免的，在網絡中傳輸的數據量也在急劇增加。在云計算時代，所有的數據存儲與計算均在云端服務器執行，這帶來便利的同時也產生了很多需求，比如在面對大數據量的傳輸時，網絡的帶寬不足；在處理時效性較高的任務時，數據在網絡的傳輸和云端的計算存在一定的延遲，實時性不足；存在云端的數據的安全性和隱私性問題。很多學者也在嘗試緩解和解決這些問題做出了很多努力，對這些方面進行了廣泛深入的討論。在這種情況下，邊緣計算應運而生。

邊緣計算起源于傳媒領域，是指在靠近物或數據源頭的一側，采用網絡、計算、存儲、應用核心能力為一體的開放平臺，就近提供最近端服務。其應用程序在邊緣側發起，產生更快的網絡服務響應，滿足行業在實時業務、應用智能、安全與隱私保護等方面的基本需求。邊緣計算處于物理實體和工業連接之間，或處于物理實體的頂端。而云端計算，仍然可以訪問邊緣計算的歷史數據。

申請號為CN201810952746.0的中國發明專利申請提出一種基于邊緣計算的超大規模DPI數據的處理系統，包括：網關，具有DPI插件，進行DPI數據采集和邊緣計算；云端服務器，對DPI數據進行存儲并對邊緣計算無法處理的信息進行處理；數據傳輸，連接網關和云端服務器，以對數據進行傳輸。本發明基于邊緣計算的超大規模DPI數據的處理系統，網關進行數據采集、數據清洗、特別識別、上報信息提取等邊緣計算，云端服務器對邊緣計算無法處理的信息進行處理，充分發揮了網關邊緣計算的算力，而且減少數據的上傳量，減少了帶寬的占用，提高了云端服務器的運算效率，從而提高了整體數據處理的效率，同時還減少了數據被竊取的風險，尤其是用戶隱私數據，提高了安全性。

申請號為CN201910146350.1的中國發明專利申請提出增加設備端卸載模式及設備中繼轉發卸載模式，即基于D2D鏈路技術將計算任務卸載至臨近計算資源充足設備或通過臨近設備中繼轉發至邊緣云端服務器進行計算卸載，這產生模式選擇問題。設備端卸載模式與設備中繼轉發模式均會涉及節點匹配問題，考慮到設備間的相互關系對節點匹配的影響，增加社會關系來調節轉發功率大小、計算資源分配等優化變量。此外，考慮到設備的移動性與系統長期性能，本發明引入時間相關的長期系統優化目標，構成動態優化問題，通過相關算法分析求解，實現IoT計算卸載性能的提升。

然而，現有的邊緣計算技術并沒有依據輸入數據的類型不同，尤其是輸入環境的不同給出不同的處理模式；此外，現有技術中的邊緣計算并不具備反饋學習能力，從而導致在大數據模式下的任務處理效率無法提升，降低用戶用戶體驗。

發明內容