[發明專利]數據傳輸方法、裝置、服務器、終端、系統及存儲介質

有效

• 申請號: 201910465536.3
• 申請日: 2019-05-30
• 公開（公告）號: CN112019362B
• 公開（公告）日: 2022-06-10
• 發明（設計）人: 張永曦
• 申請（專利權）人: 中移(蘇州)軟件技術有限公司;中國移動通信集團有限公司
• 主分類號: H04L41/0894
• 分類號: H04L41/0894;H04L41/08;H04L41/5051;H04L41/5054;H04L67/51;H04L67/30;H04L67/02;H04L67/1097
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 姚文嫻;張穎玲

本發明實施例公開了一種數據傳輸方法，包括：服務器接收攜帶有日志收集系統Flume任務的配置參數的任務創建請求；根據所述任務創建請求向資源管理器Yarn發送啟動請求信息，所述啟動請求信息中攜帶有所述Flume任務的運行資源參數；獲取所述Yarn根據接收到所述啟動請求信息后返回的響應信息，根據所述響應信息向指定代理節點發送任務運行請求，所述任務運行請求用于在所述Yarn中所述指定代理節點獲取所述Flume任務的運行資源并運行所述Flume任務，如此，能夠實現Flume任務資源的動態管理。本發明實施例還提供了一種數據傳輸裝置、服務器、終端、系統及存儲介質。

技術領域

本發明涉及數據處理領域，尤其是涉及一種數據傳輸方法、裝置、服務器、終端、系統及存儲介質。

背景技術

Flume是一種分布式的流式數據傳輸工具，它能夠對流式數據進行高效地收集、聚合以及分流，用靈活的拓撲方式傳輸流式數據。同時，Flume還具有良好的魯棒性，有一定的容錯能力和故常切換能力，是目前大數據領域流式數據傳輸的主流工具。

然而，當前對Flume數據流資源的控制管理很不靈活，導致存在Flume數據流資源集群時出現資源混亂的情況，造成大面積的負載不均衡，因此，如何有效的管理Flume數據流資源是亟需解決的重要問題。

發明內容

有鑒于此，本發明實施例的主要目的在于提供一種數據傳輸方法，裝置、服務器、終端、系統及存儲介質，能夠實現Flume任務資源的動態管理。

為達到上述目的，本發明實施例提供了一種數據傳輸方法，包括：

服務器接收攜帶有日志收集系統Flume任務的配置參數的任務創建請求；

根據所述任務創建請求向資源管理器Yarn發送啟動請求信息，所述啟動請求信息中攜帶有所述Flume任務的運行資源參數；

獲取所述Yarn根據接收到所述啟動請求信息后返回的響應信息，根據所述響應信息向指定代理節點發送任務運行請求，所述任務運行請求用于在所述Yarn中所述指定代理節點獲取所述Flume任務的運行資源并運行所述Flume任務。

其中，還包括：

采集所述Flume任務在所述Yarn上的運行日志信息；其中，所述Flume任務的運行日志信息實時存儲于對應的消息列隊中；

周期性發送所述運行日志信息到指定終端。

其中，還包括：

采集所述Flume任務在所述Yarn上的運行狀態信息；其中，所述Flume任務的運行狀態信息實時更新于對應的分布式應用程序協調服務節點中；

周期性發送所述運行狀態信息到指定終端。

其中，所述服務器接收攜帶有日志收集系統Flume任務的配置參數的任務創建請求之后，還包括：

服務器根據所述Flume任務的配置參數確定所述Flume任務的Flume配置文件，當所述Flume任務的目的地址為分布式文件系統HDFS時，更新所述Flume任務的傳輸路徑和傳輸文件名的日期屬性；其中，所述Flume配置文件攜帶有所述Flume任務的目的地址。

其中，所述根據所述任務創建請求向資源管理器Yarn發送啟動請求信息，包括：

根據所述任務創建請求中的Flume任務的配置參數確定所述Flume任務的Flume資源需求信息；其中，所述Flume資源需求信息攜帶有運行所述Flume任務的資源量參數以及Yarn中調度隊列的信息；

根據所述Flume資源需求信息確定所述Flume任務的運行環境；

根據所述Flume配置文件和所述Flume任務的運行環境向所述Yarn發送啟動請求信息。