[發明專利]現場遠程終端單元控制下的大數據采集與處理系統

在審

• 申請號: 202010637683.7
• 申請日: 2020-07-05
• 公開（公告）號: CN111800505A
• 公開（公告）日: 2020-10-20
• 發明（設計）人: 胡時英
• 申請（專利權）人: 胡時英
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明提出一種現場遠程終端單元控制下的大數據采集與處理系統。所述系統包括布置于現場預定范圍內的多個終端數據任務輸入組件、與所述終端數據任務輸入組件對應連結的數據屬性分析單元、具備邊緣計算能力的多個遠程終端單元以及大數據反饋控制引擎.數據屬性分析單元基于所述待處理數據任務的所述輸入方式對其進行分組后分析出每組待處理數據任務的數據屬性；所述大數據反饋控制系統連接所述數據屬性分析單元與所述多個遠程終端單元,基于所述數據屬性分析單元分析出的所述數據屬性以及所述多個遠程終端單元的反饋性能值，將所述待處理數據任務進行分配控制。本發明的技術方案能夠基于數據任務輸入屬性分配對應的任務處理方式。

技術領域

本發明屬于大數據處理技術領域，尤其涉及一種現場遠程終端單元控制下的大數據采集與處理。

背景技術

隨著萬物互聯時代的到來，網絡中的設備變得復雜多樣，并且數量急劇增加。不可避免的，在網絡中傳輸的數據量也在急劇增加。在云計算時代，所有的數據存儲與計算均在云端服務器執行，這帶來便利的同時也產生了很多需求，比如在面對大數據量的傳輸時，網絡的帶寬不足；在處理時效性較高的任務時，數據在網絡的傳輸和云端的計算存在一定的延遲，實時性不足；存在云端的數據的安全性和隱私性問題。很多學者也在嘗試緩解和解決這些問題做出了很多努力，對這些方面進行了廣泛深入的討論。在這種情況下，邊緣計算應運而生。

邊緣計算起源于傳媒領域，是指在靠近物或數據源頭的一側，采用網絡、計算、存儲、應用核心能力為一體的開放平臺，就近提供最近端服務。其應用程序在邊緣側發起，產生更快的網絡服務響應，滿足行業在實時業務、應用智能、安全與隱私保護等方面的基本需求。邊緣計算處于物理實體和工業連接之間，或處于物理實體的頂端。而云端計算，仍然可以訪問邊緣計算的歷史數據。

申請號為CN201810952746.0的中國發明專利申請提出一種基于邊緣計算的超大規模DPI數據的處理系統，包括：網關，具有DPI插件，進行DPI數據采集和邊緣計算；云端服務器，對DPI數據進行存儲并對邊緣計算無法處理的信息進行處理；數據傳輸，連接網關和云端服務器，以對數據進行傳輸。本發明基于邊緣計算的超大規模DPI數據的處理系統，網關進行數據采集、數據清洗、特別識別、上報信息提取等邊緣計算，云端服務器對邊緣計算無法處理的信息進行處理，充分發揮了網關邊緣計算的算力，而且減少數據的上傳量，減少了帶寬的占用，提高了云端服務器的運算效率，從而提高了整體數據處理的效率，同時還減少了數據被竊取的風險，尤其是用戶隱私數據，提高了安全性。

申請號為CN201910146350.1的中國發明專利申請提出增加設備端卸載模式及設備中繼轉發卸載模式，即基于D2D鏈路技術將計算任務卸載至臨近計算資源充足設備或通過臨近設備中繼轉發至邊緣云端服務器進行計算卸載，這產生模式選擇問題。設備端卸載模式與設備中繼轉發模式均會涉及節點匹配問題，考慮到設備間的相互關系對節點匹配的影響，增加社會關系來調節轉發功率大小、計算資源分配等優化變量。此外，考慮到設備的移動性與系統長期性能，本發明引入時間相關的長期系統優化目標，構成動態優化問題，通過相關算法分析求解，實現IoT計算卸載性能的提升。

然而，現有的邊緣計算技術并沒有依據輸入數據的類型不同，尤其是輸入環境的不同給出不同的處理模式；此外，現有技術中的邊緣計算并不具備反饋學習能力，從而導致在大數據模式下的任務處理效率無法提升，降低用戶用戶體驗。

發明內容