[發明專利]一種基于大數據處理框架的任務分類處理方法

在審

• 申請號: 201911388737.4
• 申請日: 2019-12-30
• 公開（公告）號: CN111190704A
• 公開（公告）日: 2020-05-22
• 發明（設計）人: 韓朝勇
• 申請（專利權）人: 鹽城古卓科技有限公司
• 主分類號: G06F9/46
• 分類號: G06F9/46
• 代理公司: 廣州市紅荔專利代理有限公司 44214
• 代理人: 吳偉文;李彥孚

本發明涉及大數據處理框架技術領域，尤其是一種基于大數據處理框架的任務分類處理方法，包括以下步驟：S1、大數據提交；S2、接收任務；S3、進行任務分類并初始化任務；S4、分析作業信息；S5、任務狀態分析。本發明針對任務分類，并由大數據處理框架進行處理該任務的計算機集群進行合理性分配，又能考慮資源的負載狀態，且方法較簡單，不需要預測負載，也不需要遷移VM，因此方法易于實現，不涉及微分、積分運算，復雜度較低，有效實現負載均衡、提高調度效率和資源利用率。

技術領域

本發明涉及大數據處理框架技術領域，尤其涉及一種基于大數據處理框架的任務分類處理方法。

背景技術

大數據處理框架負責對大數據系統中的數據進行計算(管理和處理)的框架系統。數據包括從持久存儲中讀取的數據或通過消息隊列等方式接入到系統中的數據，而計算則是從數據中提取信息的過程?，F在每種大數據計算框架都支持多種的大數據計算類型，例如支持Query的SQL運算基本每個大數據計算框架都支持，就是沒有直接支持的也可以使用間接的方式實現。那么也就意味著一種類型的大數據計算請求是可以把請求發送到多個大數據處理框架進行執行，只是每個框架執行的效率及方式不同，此時大家基本都是通過輸入、輸出、性能、使用資源等全盤考慮，擇優選擇。其他類型的大數據處理也是如此例如OLAP、流計算、搜索查詢、圖計算、機器學習等。在大數據平臺上每個大數據處理框架往往背后都帶有一個默認指定的兼容較好的大數據存儲框架，那么在大數據平臺上實現不同類型的大數據處理運算，把任務提交到某個框架上，往往需要的數據源一部分來自持久存儲的大數據存儲框架或者其他存儲框架或者消息隊列方式接入的流數據，其他的數據源都是來至大數據處理框架，因為其背后都帶有存儲框架，此時大數據處理框架就成了數據源。正如前面提到的每個任務具體使用哪個框架是通過輸入、輸出、性能、使用資源等全盤考慮，擇優選擇。如果要在一個應用程序系統中可以針對相同類型的任務使用不同的處理框架，需要對每個處理框架逐一實現，而且當提交任務的時候需要涉及大量關于執行框架的信息，如果需要對每個大數據處理框架的支持，這樣客戶端就比較龐大臃腫，為此我們提出一種基于大數據處理框架的任務分類處理方法來解決以上問題。

發明內容

本發明的目的是為了解決現有技術中存在現有大數據處理框架的任務處理系統臃腫，處理任務效率低，資源分配不合理的缺點，而提出的一種基于大數據處理框架的任務分類處理方法。

為了實現上述目的，本發明采用了如下技術方案：

設計一種基于大數據處理框架的任務分類處理方法，包括以下步驟：

S1、通過有線或無線模塊連接向大數據運行框架進行大數據提交；

S2、由計算機終端接收任務；

S3、進行任務分類，所述任務分類包括根據各個計算機集群的工作狀態向大數據庫反饋任務領取請求，其中閑置的計算機集群領取任務并解析處理任務參數；

S4、處理完任務參數的計算機集群進行初始化任務步驟并進行分析作業信息，所述分析作業信息包括請求數據框架所需參數、框架構建上下文、數據存儲與檢索、數據分析對比、運行控制和執行任務；

S5、執行任務的計算機集群向大數據運行框架進行反饋，由大數據運行框架進行任務狀態分析，任務完成后執行任務完成結果輸出指令，任務未完成則由執行任務的計算機集群向大數據運行框架進行再次反饋，并將未完成的任務數據打包并再次執行接收任務指令，直至任務處理結束。

優選的，在步驟S3中，所述任務分類包括Query任務、OLAP任務、Stream任務、Search任務以及其他任務。

優選的，在步驟S4中，所述數據存儲與檢索通過基于Hadoop的數據儲存模塊為運行載體，所述數據儲存模塊包括Hive系統、MapReduce系統、HBase系統、HDFS系統。