[發明專利]一種Flume集群的管理方法、裝置及系統

有效

• 申請號: 201810385019.0
• 申請日: 2018-04-26
• 公開（公告）號: CN110417825B
• 公開（公告）日: 2022-05-13
• 發明（設計）人: 張永曦;王玉雷;廖光賢;李宏源;張巧龍;黃海波
• 申請（專利權）人: 中移（蘇州）軟件技術有限公司;中國移動通信集團有限公司
• 主分類號: H04L67/10
• 分類號: H04L67/10;H04L67/1001;H04L67/61;H04L67/02;H04L67/30;H04L41/0253;H04L41/0894;H04L41/5054
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 郭潤湘

1.一種Flume集群的管理方法，應用于服務器端，其特征在于，所述方法包括：

根據傳輸的業務需求，來組建拓撲，在前端界面上接收到用戶針對組件區中包括source組件、channel組件、sink組件的Flume組件的控制操作之后，獲得所述Flume組件的配置參數集合，其中，當所述用戶把所述Flume組件拖拽到所述前端界面的面板區上時，所述Flume組件中各個組件之間通過連接線連接；

基于所述配置參數集合，生成用于指明流式數據傳輸的源頭、通道和目的地的Flume配置文件，創建Flume任務；

接收web接口端發送的用于啟動所述Flume任務的啟動請求；

根據所述Flume集群當前的資源使用情況、所述Flume任務的運行資源、以及所述Flume任務的優先級，將所述Flume任務分配至所述Flume集群中的第一機器；

生成針對所述Flume任務的啟動程序；

根據所述啟動程序，控制所述第一機器啟動所述Flume任務，并通過Container容器化技術限定所述Flume任務的運行資源，以使所述第一機器可啟動多個Flume任務，所述通過Container容器化技術限定所述Flume任務的運行資源是把所述Flume任務對應的進程限制在一定的CPU和內存消耗范圍內運行，具體是基于Cgroup資源控制邏輯來實現運行資源的容器化。

2.如權利要求1所述的方法，其特征在于，在根據所述啟動程序，控制所述第一機器啟動所述Flume任務之后，所述方法還包括：

獲得包括所述Flume集群的運行信息和所述Flume任務的運行信息的運行信息集合；

將所述運行信息集合發送至所述web接口端，指示所述web接口端對所述運行信息集合進行顯示，以監控所述Flume集群以及所述Flume任務。

3.如權利要求1所述的方法，其特征在于，所述獲得所述Flume組件的配置參數集合，包括：

接收用于請求所述Flume組件對應的component組件對象的請求信息；

以JSON形式將所述component組件 對象返回至所述web接口端，以使所述web接口端從JSON形式中的配置項中解析出待輸入內容；

在所述前端界面接收到所述待輸入內容時，接收所述web接口端以JSON形式返回的所述Flume組件對應的所述配置參數集合。

4.如權利要求3所述的方法，其特征在于，所述基于所述配置參數集合，生成用于指明流式數據傳輸的源頭、通道和目的地的Flume配置文件，創建所述Flume任務，包括：

接收所述web接口端以JSON形式返回的所述source組件、所述channel組件、所述sink組件間的連接方式，以及所述配置參數集合；

確定所述連接方式和所述配置參數集合對應的拓撲對象；

對所述拓撲對象進行解析，生成用于指明流式數據傳輸的源頭、通道和目的地的Flume配置文件，創建所述Flume任務。