[發明專利]基于Flume數據中臺的數據處理方法、裝置、設備及介質

在審

• 申請號: 202010579722.2
• 申請日: 2020-06-23
• 公開（公告）號: CN111813621A
• 公開（公告）日: 2020-10-23
• 發明（設計）人: 岑大欣
• 申請（專利權）人: 中國平安財產保險股份有限公司
• 主分類號: G06F11/30
• 分類號: G06F11/30;G06F16/25
• 代理公司: 北京匯思誠業知識產權代理有限公司 11444
• 代理人: 馮曉平

1.一種基于Flume數據中臺的數據處理方法，其特征在于，所述方法包括：

獲取日志規則，按照所述日志規則采集數據，并將所述數據發送到消息隊列；

通過所述消息隊列將所述數據輸入到分布式數據中臺，其中，所述分布式數據中臺包括主設備，以及多個分布式集群，每個所述分布式集群中包括多個從設備，作為所述分布式集群的代理節點，所述分布式數據中臺基于Flume實現；

將所述數據從所述分布式數據中臺輸出到存儲介質；

其中，在所述數據從所述分布式數據中臺輸出到所述存儲介質的過程中，所述主設備采用主從心跳機制，檢測所述代理節點中服務進程的實時狀態，并根據所述實時狀態啟用備用服務進程，基于所述備用服務進程輸出所述數據，或者，根據所述實時狀態，采用數據均衡落地的方式輸出所述數據。

2.根據權利要求1所述的方法，其特征在于，所述在所述數據從所述分布式數據中臺輸出到所述存儲介質的過程中，所述主設備采用主從心跳機制，檢測所述代理節點中服務進程的實時狀態，包括：

所述代理節點定時向所述主設備發送心跳信息，其中，所述心跳信息包括內存占用率和中央處理器占用率；

所述主設備根據所述心跳信息判斷所述代理節點中服務進程的實時狀態；

當所述代理節點中服務進程內存占用率超過第一預設閾值或中央處理器占用率超過第二預設閾值時，確定所述代理節點中服務進程的所述實時狀態為負荷過多；

當所述代理節點中服務進程內存占用率低于第三預設閾值或中央處理器占用率低于第四預設閾值時，確定所述代理節點中服務進程的所述實時狀態為負荷過剩。

3.根據權利要求2所述的方法，其特征在于，所述根據所述實時狀態啟用備用服務進程，基于所述備用服務進程輸出所述數據，或者，根據所述實時狀態，采用數據均衡落地的方式輸出所述數據，包括：

當所述代理節點中服務進程的所述實時狀態為負荷過多，且所述代理節點中服務進程不存在所述備用服務進程時，啟用所述備用服務進程，基于所述備用服務進程輸出所述數據；

當所述代理節點中服務進程的所述實時狀態為負荷過剩，且所述消息隊列采用Kafka時，根據Kafka group id，采用數據均衡落地的方式輸出所述數據。

4.根據權利要求1所述的方法，其特征在于，所述獲取日志規則，按照所述日志規則采集數據，并將所述數據發送到消息隊列，包括：

通過預架設的配置服務中心提供多數據源接入的服務，其中，所述預架設的配置服務中心采用前端界面的方式進行操作；

通過所述前端界面獲取用戶輸入的所述日志規則，按照所述日志規則和所述多數據源接入的服務，從多個數據源中采集所述數據，并將所述數據發送到Kafka。

5.根據權利要求1-4任一項所述的方法，其特征在于，所述將所述數據從所述分布式數據中臺輸出到存儲介質，包括：

通過預架設的數據服務中心提供數據統一接口；

根據所述數據統一接口，將所述數據從所述分布式數據中臺輸出到同一非易失性存儲介質。

6.一種基于Flume數據中臺的數據處理裝置，其特征在于，所述裝置包括：

第一處理模塊，用于獲取日志規則，按照所述日志規則采集數據，并將所述數據發送到消息隊列；

第二處理模塊，用于通過所述消息隊列將所述數據輸入到分布式數據中臺，其中，所述分布式數據中臺包括主設備，以及多個分布式集群，每個所述分布式集群中包括多個從設備，作為所述分布式集群的代理節點，所述分布式數據中臺基于Flume實現；

第三處理模塊，用于將所述數據從所述分布式數據中臺輸出到存儲介質；

第四處理模塊，用于在所述數據從所述分布式數據中臺輸出到所述存儲介質的過程中，所述主設備采用主從心跳機制，檢測所述代理節點中服務進程的實時狀態，并根據所述實時狀態啟用備用服務進程，基于所述備用服務進程輸出所述數據，或者，根據所述實時狀態，采用數據均衡落地的方式輸出所述數據。