[發明專利]數據傳輸方法、裝置、服務器、終端、系統及存儲介質

有效

• 申請號: 201910465536.3
• 申請日: 2019-05-30
• 公開（公告）號: CN112019362B
• 公開（公告）日: 2022-06-10
• 發明（設計）人: 張永曦
• 申請（專利權）人: 中移(蘇州)軟件技術有限公司;中國移動通信集團有限公司
• 主分類號: H04L41/0894
• 分類號: H04L41/0894;H04L41/08;H04L41/5051;H04L41/5054;H04L67/51;H04L67/30;H04L67/02;H04L67/1097
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 姚文嫻;張穎玲

1.一種數據傳輸方法，其特征在于，包括：

服務器接收攜帶有日志收集系統Flume任務的配置參數的任務創建請求；

根據所述任務創建請求中的Flume任務的配置參數確定所述Flume任務的Flume資源需求信息；其中，所述Flume資源需求信息攜帶有運行所述Flume任務的資源量參數以及Yarn中調度隊列的信息；

根據所述Flume資源需求信息確定所述Flume任務的運行環境；

服務器根據所述Flume任務的配置參數確定所述Flume任務的Flume配置文件；

根據所述Flume配置文件和所述Flume任務的運行環境向所述Yarn發送啟動請求信息；

獲取所述Yarn根據接收到所述啟動請求信息后返回的響應信息，根據所述響應信息向指定代理節點發送任務運行請求，所述任務運行請求用于在所述Yarn中所述指定代理節點獲取所述Flume任務的運行資源并運行所述Flume任務。

2.根據權利要求1所述的數據傳輸方法，其特征在于，還包括：

采集所述Flume任務在所述Yarn上的運行日志信息；其中，所述Flume任務的運行日志信息實時存儲于對應的消息列隊中；

周期性發送所述運行日志信息到指定終端。

3.根據權利要求1所述的數據傳輸方法，其特征在于，還包括：

采集所述Flume任務在所述Yarn上的運行狀態信息；其中，所述Flume任務的運行狀態信息實時更新于對應的分布式應用程序協調服務節點中；

周期性發送所述運行狀態信息到指定終端。

4.根據權利要求1至3中任一項所述的數據傳輸方法，其特征在于，所述服務器接收攜帶有日志收集系統Flume任務的配置參數的任務創建請求之后，還包括：

當所述Flume任務的目的地址為HDFS時，更新所述Flume任務的傳輸路徑和傳輸文件名中的日期屬性；其中，所述Flume配置文件攜帶有所述Flume任務的所述目的地址。

5.一種數據傳輸方法，其特征在于，包括：

向服務器發送攜帶有日志收集系統Flume任務的配置參數的任務創建請求；其中，所述任務創建請求用于所述服務器在資源管理器Yarn創建所述Flume任務；所述任務創建請求包括：確定所述Flume任務的Flume資源需求信息的配置參數；

所述Flume資源需求信息攜帶有運行所述Flume任務的資源量參數以及Yarn中調度隊列的信息，用于確定所述Flume任務的運行環境；

所述Flume任務的運行環境，用于服務器向所述Yarn發送啟動請求信息，并觸發Yarn根據所述啟動請求信息返回響應信息給所述服務器；

所述響應信息，用于服務器向指定代理節點發送任務運行請求，所述任務運行請求用于在所述Yarn中所述指定代理節點獲取所述Flume任務的運行資源并運行所述Flume任務。

6.一種數據傳輸裝置，其特征在于，包括：

調用模塊，用于接收攜帶有日志收集系統Flume任務的配置參數的任務創建請求；

資源管理器Yarn交互模塊，用于根據所述任務創建請求中的Flume任務的配置參數確定所述Flume任務的Flume資源需求信息；其中，所述Flume資源需求信息攜帶有運行所述Flume任務的資源量參數以及Yarn中調度隊列的信息；根據所述Flume資源需求信息確定所述Flume任務的運行環境；服務器根據所述Flume任務的配置參數確定所述Flume任務的Flume配置文件；根據所述Flume配置文件和所述Flume任務的運行環境向所述Yarn發送啟動請求信息；還用于獲取所述Yarn根據接收到所述啟動請求信息后返回的響應信息，根據所述響應信息向指定代理節點發送任務運行請求，所述任務運行請求用于在所述Yarn中所述指定代理節點獲取所述Flume任務的運行資源并運行所述Flume任務。