[發明專利]一種用于對大數據任務進行分布式處理的方法

有效

• 申請號: 201710568167.1
• 申請日: 2017-07-13
• 公開（公告）號: CN107370808B
• 公開（公告）日: 2020-06-12
• 發明（設計）人: 袁敏
• 申請（專利權）人: 鹽城工學院
• 主分類號: H04L29/08
• 分類號: H04L29/08;G06F9/48
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明涉及一種用于對大數據任務進行分布式處理的方法，所述方法包括：確定針對大數據任務的任務處理次序，所述任務處理次序包括組間次序和組內次序；所述組間次序用于指示網絡節點所在的組的次序，所述組內次序用于指示網絡節點在其所屬的組中的次序；根據至少兩個網絡節點各自對應的任務處理次序，確定所述至少兩個網絡節點中的要進行任務處理的網絡節點，所述至少兩個網絡節點中任務處理次序低的網絡節點的全部或部分任務依賴于至少一個任務處理次序高的網絡節點；以及向所述要進行任務處理的網絡節點發送任務處理指示，所述任務處理指示用于指示所述要進行任務處理的網絡節點開始處理任務。

技術領域

本發明涉及分布式系統領域，并且更具體地涉及一種用于對大數據任務進行分布式處理的方法。

背景技術

目前，大數據平臺技術框架支持的開發語言多種多樣，開發人員的背景差異也很大，這就產生出大數據任務包括很多不同類型的子任務運行在大數據平臺之上的情況，如：MapReduce、Hive、Pig、Spark、Java、Shell、Python等。

通常，這些子任務需要不同的運行環境，并且除了定時運行，各種類型之間的任務存在依賴關系。目前各業務的數據任務基本都是靠Crontab定時調度，各個任務之間的依賴僅靠簡單的串行來實現。這樣做的問題：很容易造成前面的任務未結束或者失敗，后面的任務也運行起來，最終跑出錯誤的分析結果；任務不能并發執行，增加任務執行的整體時間窗口；任務管理和維護很不方便，不好統計任務的執行時間及運行日志；以及缺乏及時有效的告警。

發明內容

根據本發明的一個方面，提供一種用于對大數據任務進行分布式處理的設備，設備包括：

次序分配單元，用于確定針對大數據任務的任務處理次序，任務處理次序包括組間次序和組內次序；組間次序用于指示網絡節點所在的組的次序，組內次序用于指示網絡節點在其所屬的組中的次序；其中，組間次序低的組中包含的網絡節點的全部或部分任務依賴于至少一個組間次序高的組中包含的網絡節點；在同一組內，組內次序低的網絡節點的全部或部分任務依賴于至少一個組內次序高的網絡節點；

任務指定單元，用于根據至少兩個網絡節點各自對應的任務處理次序，確定至少兩個網絡節點中的要進行任務處理的網絡節點，至少兩個網絡節點中任務處理次序低的網絡節點的全部或部分任務依賴于至少一個任務處理次序高的網絡節點；以及控制單元，用于向要進行任務處理的網絡節點發送任務處理指示，任務處理指示用于指示要進行任務處理的網絡節點開始處理任務。

優選地，任務指定單元，用于當接收到至少兩個網絡節點中的請求網絡節點發送的任務處理請求時，查詢至少一個目標組，至少一個目標組是尚未完成任務處理的各個組中組間次序最高的組；獲取任務處理列表，任務處理列表中包含每一個目標組中尚未完成任務處理的各個網絡節點中、組內次序最高的至少一個網絡節點；檢測請求網絡節點是否存在于任務處理列表中；若請求網絡節點存在于任務處理列表中，則確定請求網絡節點為要進行任務處理的網絡節點。

優選地，任務指定單元，用于當接收到至少兩個網絡節點中的請求網絡節點發送的任務處理請求時，查詢請求網絡節點的組間次序和組內次序；檢測請求網絡節點的組間次序是否為至少兩個網絡節點中尚未完成任務處理的各個網絡節點的組間次序中的最高次序；若請求網絡節點的組間次序是至少兩個網絡節點中尚未完成任務處理的各個網絡節點的組間次序中的最高次序，則檢測請求網絡節點的組內次序是否為請求網絡節點所在組內尚未完成任務處理的各個網絡節點的組內次序中的最高次序；若請求網絡節點的組內次序是請求網絡節點所在組內尚未完成任務處理的各個網絡節點的組內次序中的最高次序，則確定請求網絡節點為要進行任務處理的網絡節點。

優選地，任務指定單元，用于查詢至少一個目標組，目標組是尚未完成任務處理的各個組中、組間次序最高的組；對于至少一個目標組中的每一個目標組，將目標組中尚未完成任務處理的各個網絡節點中、組內次序最高的至少一個網絡節點確定為要進行任務處理的網絡節點。

優選地，系統還包括：