[發(fā)明專利]一種邊緣計算場景下的資源監(jiān)控數(shù)據(jù)預(yù)處理系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202011179362.3
• 申請日: 2020-10-29
• 公開（公告）號: CN112162829B
• 公開（公告）日: 2023-09-12
• 發(fā)明（設(shè)計）人: 才振功;沈鐵成;王翱宇;萇程;徐潔潔;丁軼群
• 申請（專利權(quán)）人: 杭州諧云科技有限公司
• 主分類號: G06F9/455
• 分類號: G06F9/455;G06F9/50
• 代理公司: 杭州求是專利事務(wù)所有限公司 33200
• 代理人: 賈玉霞

本發(fā)明涉及一種邊緣計算場景下的資源監(jiān)控數(shù)據(jù)預(yù)處理系統(tǒng)，其包括：端設(shè)備收集單元，收集云邊集群中指定端設(shè)備產(chǎn)生的監(jiān)控流數(shù)據(jù)，并將其發(fā)送至邊緣節(jié)點對應(yīng)的流處理服務(wù)器；邊緣主機收集單元，通過部署在邊緣主機的容器收集其硬件資源使用情況；存儲單元，從預(yù)處理單元接收流處理服務(wù)器返回的監(jiān)控流數(shù)據(jù)，進行壓縮后存儲；預(yù)處理單元，其為本地服務(wù)器，根據(jù)用戶提供的配置文件，抓取收集單元收集的數(shù)據(jù)，并處理后發(fā)送給存儲單元存儲或由云邊數(shù)據(jù)傳輸單元傳到云端；云邊數(shù)據(jù)傳輸單元，用于將處理后數(shù)據(jù)發(fā)送至云端；各單元均以yaml的形式由云端統(tǒng)一下發(fā)部署至邊緣端。該系統(tǒng)能及時發(fā)現(xiàn)端設(shè)備及邊緣主機的異常，極大地提升了監(jiān)控自動化的效率。

技術(shù)領(lǐng)域

本發(fā)明涉及邊緣計算領(lǐng)域，具體涉及一種邊緣計算場景下的資源監(jiān)控數(shù)據(jù)預(yù)處理系統(tǒng)。

背景技術(shù)

邊緣計算起源于傳媒領(lǐng)域，是指在靠近物或數(shù)據(jù)源頭的一側(cè)，采用網(wǎng)絡(luò)、計算、存儲、應(yīng)用核心能力為一體的開放平臺，就近提供最近端服務(wù)。其應(yīng)用程序在邊緣側(cè)發(fā)起，產(chǎn)生更快的網(wǎng)絡(luò)服務(wù)響應(yīng)，滿足行業(yè)在實時業(yè)務(wù)、應(yīng)用智能、安全與隱私保護等方面的基本需求。邊緣計算處于物理實體和工業(yè)連接之間，或處于物理實體的頂端。而云端計算，仍然可以訪問邊緣計算的歷史數(shù)據(jù)。

Kubernetes是當(dāng)今流行的容器編排系統(tǒng)，它是一種開源的容器集群管理系統(tǒng)，是大規(guī)模容器管理技術(shù)Borg的開源版本。Kubernetes包含的諸多特性，包括：基于容器的應(yīng)用部署、維護和滾動升級，負載均衡和服務(wù)發(fā)現(xiàn)，跨機器和跨地區(qū)的集群調(diào)度，自動伸縮等等，使得它成為了容器編排領(lǐng)域的領(lǐng)導(dǎo)者，并且逐漸在企業(yè)落地。

Kubernetes現(xiàn)有的監(jiān)控方案包含metric-server及prometheus聯(lián)邦體系，metrics-server從Kubernetes集群中的各個主機上的Kubelet中的cadvisor中獲取主機的CPU、memory等指標，并給Kubernetes集群提供HPA等功能；prometheus是一個開源的服務(wù)監(jiān)控系統(tǒng)和時間序列數(shù)據(jù)庫，它有以下特性：1.高維度數(shù)據(jù)模型；2.自定義查詢語言；3.可視化數(shù)據(jù)展示；4.高效的存儲策略；5.易于運維；6.提供各種客戶端開發(fā)庫；7.提供警告和報警；8.數(shù)據(jù)導(dǎo)出。

然而，Kubernetes現(xiàn)有的監(jiān)控方案，無法涵蓋到云邊端一體化的場景，其主要涉及的數(shù)據(jù)為主機上的監(jiān)控數(shù)據(jù)，不涉及到不同傳輸協(xié)議傳輸?shù)牟煌嗽O(shè)備上的數(shù)據(jù)。其次，端設(shè)備產(chǎn)生的數(shù)據(jù)量級非常巨大，數(shù)據(jù)的流量壓力給metrics-server服務(wù)器和prometheus服務(wù)器很大的壓力。

隨著5G和物聯(lián)網(wǎng)時代的來臨，網(wǎng)絡(luò)邊緣側(cè)的資源監(jiān)控數(shù)據(jù)量級將非常巨大，如果將數(shù)據(jù)都交由云端的管理平臺來處理，將會產(chǎn)生現(xiàn)實網(wǎng)絡(luò)流量巨大、一些設(shè)備的低時延導(dǎo)致實時監(jiān)控工作難以保證、特殊監(jiān)控信息的數(shù)據(jù)安全風(fēng)險大增、端設(shè)備數(shù)據(jù)傳輸協(xié)議眾多無法統(tǒng)一等問題，采用邊緣計算的方式，海量監(jiān)控數(shù)據(jù)則能夠就近處理，大量的設(shè)備的狀態(tài)信息能實時得到監(jiān)控，以上的問題就能迎刃而解。因此，傳統(tǒng)的基于云中心的Kubernetes監(jiān)控方案已經(jīng)不能適應(yīng)當(dāng)前的邊緣計算場景，更需要一種在邊緣節(jié)點上的資源監(jiān)控數(shù)據(jù)預(yù)處理方法。

發(fā)明內(nèi)容

針對現(xiàn)有技術(shù)的不足，本發(fā)明提出一種邊緣計算場景下的資源監(jiān)控數(shù)據(jù)預(yù)處理系統(tǒng)，該系統(tǒng)基于云邊端一體化協(xié)同的場景，使用多級的監(jiān)控收集及預(yù)處理系統(tǒng)，逐步減小云端數(shù)據(jù)中心的數(shù)據(jù)流量壓力，解決了現(xiàn)實網(wǎng)絡(luò)流量巨大、一些設(shè)備的低時延導(dǎo)致實時監(jiān)控工作難以保證、特殊監(jiān)控信息的數(shù)據(jù)安全風(fēng)險大增、端設(shè)備數(shù)據(jù)傳輸協(xié)議眾多無法統(tǒng)一等諸多問題，解決了在云邊端一體化場景下邊緣主機及端設(shè)備等監(jiān)控數(shù)據(jù)的痛點，在實際應(yīng)用落地過程中能及時發(fā)現(xiàn)端設(shè)備及邊緣主機的資源異常及設(shè)備狀態(tài)異常等問題，極大地提升了監(jiān)控自動化的效率。

本發(fā)明的目的通過如下的技術(shù)方案來實現(xiàn)：

一種邊緣計算場景下的資源監(jiān)控數(shù)據(jù)預(yù)處理系統(tǒng)，該系統(tǒng)包括：