[發明專利]一種基于大數據處理框架的任務分類處理方法

在審

• 申請號: 201911388737.4
• 申請日: 2019-12-30
• 公開（公告）號: CN111190704A
• 公開（公告）日: 2020-05-22
• 發明（設計）人: 韓朝勇
• 申請（專利權）人: 鹽城古卓科技有限公司
• 主分類號: G06F9/46
• 分類號: G06F9/46
• 代理公司: 廣州市紅荔專利代理有限公司 44214
• 代理人: 吳偉文;李彥孚

1.一種基于大數據處理框架的任務分類處理方法，其特征在于，包括以下步驟：

S1、通過有線或無線模塊連接向大數據運行框架進行大數據提交；

S2、由計算機終端接收任務；

S3、進行任務分類，所述任務分類包括根據各個計算機集群的工作狀態向大數據庫反饋任務領取請求，其中閑置的計算機集群領取任務并解析處理任務參數；

S4、處理完任務參數的計算機集群進行初始化任務步驟并進行分析作業信息，所述分析作業信息包括請求數據框架所需參數、框架構建上下文、數據存儲與檢索、數據分析對比、運行控制和執行任務；

S5、執行任務的計算機集群向大數據運行框架進行反饋，由大數據運行框架進行任務狀態分析，任務完成后執行任務完成結果輸出指令，任務未完成則由執行任務的計算機集群向大數據運行框架進行再次反饋，并將未完成的任務數據打包并再次執行接收任務指令，直至任務處理結束。

2.根據權利要求1所述的一種基于大數據處理框架的任務分類處理方法，其特征在于，在步驟S3中，所述任務分類包括Query任務、OLAP任務、Stream任務、Search任務以及其他任務。

3.根據權利要求1所述的一種基于大數據處理框架的任務分類處理方法，其特征在于，在步驟S4中，所述數據存儲與檢索通過基于Hadoop的數據儲存模塊為運行載體，所述數據儲存模塊包括Hive系統、MapReduce系統、HBase系統、HDFS系統。

4.根據權利要求1所述的一種基于大數據處理框架的任務分類處理方法，其特征在于，在步驟S3中，所述任務分類通過基于多任務學習機制和分布式深度學習模塊構建多任務分類模型，并對各類任務通過共享編碼器進行編碼，根據多標簽分類任務和層次分類任務交替對各類任務分類模型進行解碼并得到分類標簽；所述分布式深度學習模塊涵蓋自回饋學習模型、再學習模型、長記憶模型和聚類模型。

5.根據權利要求1所述的一種基于大數據處理框架的任務分類處理方法，其特征在于，在步驟S1中，所述大數據運行框架通過有線或無線模塊連接本地資源管理器，所述本地資源管理器負責本地資源節點的監測和管理，周期性的監測本地資源的負載情況，并將這些信息及需處理任務信息提交大數據運行框架。