[發明專利]一種數據處理方法、系統、計算機及可讀存儲介質

有效

• 申請號: 202110772159.5
• 申請日: 2021-07-08
• 公開（公告）號: CN113220715B
• 公開（公告）日: 2021-10-08
• 發明（設計）人: 包增輝
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F16/245
• 分類號: G06F16/245;G06F16/248;G06F16/27;G06F3/06
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 熊永強;杜維

本申請實施例公開了一種數據處理方法、系統、計算機及可讀存儲介質，涉及云技術領域及區塊鏈技術，該方法包括：通過收發組件接收邊緣集群發送的采集指標數據；收發組件中集成有數據推送功能；基于收發組件中的數據推送功能，對采集指標數據進行預聚合處理，得到預聚合指標數據，將預聚合指標數據推送至協調寫入組件；基于協調寫入組件將預聚合指標數據轉換成具有目標存儲格式的轉換指標數據，對轉換指標數據進行歸并處理，得到存儲指標數據；將存儲指標數據寫入數據庫組件中，基于數據庫組件將存儲指標數據寫入存儲磁盤。采用本申請，可以提高對數據處理的效率及數據采集性能。

技術領域

本申請涉及計算機技術領域，尤其涉及一種數據處理方法、系統、計算機及可讀存儲介質。

背景技術

在一些應用場景（如視頻直播點播或云游戲等）中，為了減少延遲，會將服務部署到更靠近用戶的地方（即邊緣節點），這些邊緣節點組成了邊緣集群，在邊緣集群上需要監控部署的服務的性能和穩定性等，因此，會采集應用程序中所產生的指標數據，以對服務的性能和穩定性等進行檢測。其中，一般是由每個邊緣集群中的服務端點定時拉取并存儲指標數據，當用戶設備需要獲取指標數據時，由中央集群從邊緣集群的服務端點中拉取所需的指標數據，再反饋至用戶設備。由于在服務端點中會產生較多的數據，因此，一般會保存一段時間的指標數據，超過后會刪除數據，以保障服務端點的正常運行，存在存儲不可擴展這一特性，使得數據存儲的性能較差，對短生命周期的容器不夠友好。

發明內容

本申請實施例提供了一種數據處理方法、系統、計算機及可讀存儲介質，可以提高對數據處理的效率及數據采集的性能。

本申請實施例一方面提供了一種數據處理方法，應用于中央集群，該中央集群包括收發組件、協調寫入組件及數據庫組件，該方法包括：

通過收發組件接收邊緣集群發送的采集指標數據；收發組件中集成有數據推送功能；

基于收發組件中的數據推送功能，對采集指標數據進行預聚合處理，得到預聚合指標數據，將預聚合指標數據推送至協調寫入組件；

基于協調寫入組件將預聚合指標數據轉換成具有目標存儲格式的轉換指標數據，對轉換指標數據進行歸并處理，得到存儲指標數據；

將存儲指標數據寫入數據庫組件中，基于數據庫組件將存儲指標數據寫入存儲磁盤。

本申請實施例一方面提供了一種數據處理裝置，應用于中央集群，該中央集群包括收發組件、協調寫入組件及數據庫組件，該裝置包括：

指標采集模塊，用于通過收發組件接收邊緣集群發送的采集指標數據；收發組件中集成有數據推送功能；

數據推送模塊，用于基于收發組件中的數據推送功能，對采集指標數據進行預聚合處理，得到預聚合指標數據，將預聚合指標數據推送至協調寫入組件；

數據轉換模塊，用于基于協調寫入組件將預聚合指標數據轉換成具有目標存儲格式的轉換指標數據；

數據壓縮模塊，用于對轉換指標數據進行歸并處理，得到存儲指標數據；

數據存儲模塊，用于將存儲指標數據寫入數據庫組件中，基于數據庫組件將存儲指標數據寫入存儲磁盤。

其中，該收發組件包括指標代理組件及監控收集組件；指標代理組件集成有第一數據推送功能，監控收集組件集成有第二數據推送功能；

該指標采集模塊，包括：

連接建立單元，用于通過收發組件所包括的指標代理組件，與邊緣集群建立網絡長連接；

指標采集單元，用于通過網絡長連接接收邊緣集群發送的采集指標數據；

該數據推送模塊，包括：