[發明專利]基于Flume數據中臺的數據處理方法、裝置、設備及介質在審

申請號：	202010579722.2	申請日：	2020-06-23
公開（公告）號：	CN111813621A	公開（公告）日：	2020-10-23
發明（設計）人：	岑大欣	申請（專利權）人：	中國平安財產保險股份有限公司
主分類號：	G06F11/30	分類號：	G06F11/30;G06F16/25
代理公司：	北京匯思誠業知識產權代理有限公司 11444	代理人：	馮曉平
地址：	518033 廣東省深圳市福田區益田路***	國省代碼：	廣東;44
權利要求書：	查看更多	說明書：	查看更多
摘要：
搜索關鍵詞：	基于 flume 數據數據處理方法裝置設備介質
鉆瓜網技術展會專利詞庫專利權人專利榜在售專利公布日期熱門專利

【說明書】：

本發明公開了一種基于Flume數據中臺的數據處理方法、裝置、設備及介質，涉及大數據處理領域。該方法包括：獲取日志規則，按照日志規則采集數據，并將數據發送到消息隊列；通過消息隊列將數據輸入到分布式數據中臺；將數據從分布式數據中臺輸出到存儲介質；其中，在數據從分布式數據中臺輸出到存儲介質的過程中，主設備采用主從心跳機制，檢測代理節點中服務進程的實時狀態，并根據實時狀態啟用備用服務進程，基于備用服務進程輸出數據，或者，根據實時狀態，采用數據均衡落地的方式輸出數據。采用該基于Flume數據中臺的數據處理方法能夠在數據處理過程中有效降低存儲空間的占用率。

【技術領域】

本發明涉及大數據處理領域，尤其涉及一種基于Flume數據中臺的數據處理方法、裝置、設備及介質。

【背景技術】

數據中臺是指通過數據技術，對海量數據進行采集、計算、存儲、加工，形成大數據資產層，進而為客戶提供高效服務的技術。

現有的數據中臺是通過進程直連數據源的方式獲取數據，當一個進程異常退出時，數據中臺無法及時告警、修復，容易出現數據丟失的情況。因此，在數據中臺實現數據處理的過程中，為了保證數據不丟失，數據中臺的服務進程中都落地了相同的一份數據，但這將導致大量的數據重復冗余，過多地占用存儲空間。

【發明內容】

有鑒于此，本發明實施例提供了一種基于Flume數據中臺的數據處理方法、裝置、設備及介質，用以解決數據中臺在實現數據處理的過程中數據占用存儲空間過多的問題。

第一方面，本發明實施例提供了一種基于Flume數據中臺的數據處理方法，包括：

獲取日志規則，按照所述日志規則采集數據，并將所述數據發送到消息隊列；

通過所述消息隊列將所述數據輸入到分布式數據中臺，其中，所述分布式數據中臺包括主設備，以及多個分布式集群，每個所述分布式集群中包括多個從設備，作為所述分布式集群的代理節點，所述分布式數據中臺基于Flume實現；

將所述數據從所述分布式數據中臺輸出到存儲介質；

其中，在所述數據從所述分布式數據中臺輸出到所述存儲介質的過程中，所述主設備采用主從心跳機制，檢測所述代理節點中服務進程的實時狀態，并根據所述實時狀態啟用備用服務進程，基于所述備用服務進程輸出所述數據，或者，根據所述實時狀態，采用數據均衡落地的方式輸出所述數據。