[發明專利]一種基于Flume的在線多方匯聚方法

在審

• 申請號: 202011378069.X
• 申請日: 2020-11-30
• 公開（公告）號: CN112527406A
• 公開（公告）日: 2021-03-19
• 發明（設計）人: 吳朝亮;劉劍群;于傳富;劉奇;彭大祥;王佳偉
• 申請（專利權）人: 天翼電子商務有限公司
• 主分類號: G06F9/445
• 分類號: G06F9/445
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種基于Flume的在線多方匯聚方法，在flume原有流程基礎上擴展增加一個flume調度層，使得數據分析平臺能夠支持flume agent的在線管理，具體步驟如下所示：S1.在flume所在機器上部署flume調度器；S2.由數據分析平臺調用flume調度器進行flume進行agent創建；S3.flume調度器根據相應參數進行agent配置生成；S4.然后執行flume創建命令，并將結果反饋給flume調度層。本發明可實現flume agent的在線配置，優于人工登陸生產服務器配置的方式；不用配置flume所在機器的賬號密碼或者免密登陸配置；擴展性強，數據分析平臺不依賴flume，而通過中間層調用，可將flume替換為其他數據匯聚組件。

技術領域

本發明涉及數據分析技術領域，特別涉及一種基于Flume的在線多方匯聚方法。

背景技術

在傳統基于flume多方數據匯聚方案中，一般有兩種方式。

1.通過人工配置flume的agent的方式，效率低，不易擴展，容易出錯。

2.通過程序SSH登陸flume機器進行自動配置的方式，權限不易管控，需進行前期大量配置，不易維護。

發明內容

本發明要解決的技術問題是克服現有技術的缺陷，提供一種基于Flume的在線多方匯聚方法，目的是為企業在使用flume過程中，可以更方便的創建flume agent來進行多方數據的匯聚，轉發等，不僅可以解決人工配置的不可以預測風險，程序自動遠程配置的權限不易管控、運維成本增加等問題。

為了解決上述技術問題，本發明提供了如下的技術方案：

本發明一種基于Flume的在線多方匯聚方法，在flume原有流程基礎上擴展增加一個flume調度層，使得數據分析平臺能夠支持flume agent的在線管理，具體步驟如下所示：

S1.在flume所在機器上部署flume調度器；

S2.由數據分析平臺調用flume調度器進行flume進行agent創建；

S3.flume調度器根據相應參數進行agent配置生成；

S4.然后執行flume創建命令，并將結果反饋給flume調度層。

與現有技術相比，本發明的有益效果如下：

1.可實現flume agent的在線配置，優于人工登陸生產服務器配置的方式；

2.不用配置flume所在機器的賬號密碼或者免密登陸配置；

3.擴展性強，數據分析平臺不依賴flume，而通過中間層調用，可將flume替換為其他數據匯聚組件。

附圖說明

附圖用來提供對本發明的進一步理解，并且構成說明書的一部分，與本發明的實施例一起用于解釋本發明，并不構成對本發明的限制。在附圖中：

圖1是本發明的初始化密鑰流程圖。

具體實施方式

以下結合附圖對本發明的優選實施例進行說明，應當理解，此處所描述的優選實施例僅用于說明和解釋本發明，并不用于限定本發明。

實施例1

如圖1所示，本發明提供一種基于Flume的在線多方匯聚方法，在flume原有流程基礎上擴展增加一個flume調度層，使得數據分析平臺能夠支持flume agent的在線管理，具體步驟如下所示：

S1.在flume所在機器上部署flume調度器；

S2.由數據分析平臺調用flume調度器進行flume進行agent創建；