[發明專利]一種分布式數據處理協調方法及系統

在審

• 申請號: 201410710691.4
• 申請日: 2014-11-28
• 公開（公告）號: CN104462302A
• 公開（公告）日: 2015-03-25
• 發明（設計）人: 凡紅恩
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F9/48
• 代理公司: 北京邦信陽專利商標代理有限公司 11012
• 代理人: 金璽

技術領域

本發明涉及分布式數據處理相關技術領域，特別是一種分布式數據處理協調方法及系統。

背景技術

當今互聯網發展相當迅速，尤其是大數據時代到來，如何快速處理這些數據是所有公司面臨的一大挑戰，普遍采用的有以下幾種方法，

一、采用單實例多線程處理，

這樣的缺點是有單點的風險，一旦實例崩潰，所有數據將無法處理，對于大數據處理相對較慢，處理不及時，現在已經基本不用。

二、采用多實例

根據數據進行取模，取模后將不同的數據分給不同的實例，這樣解決了系統的單點問題，然而其存在的問題為：當某個實例崩潰掉，相應的系統無法得到通知，就會造成數據無法得到處理。

發明內容

基于此，有必要針對現有技術在對分布式數據處理系統方面存在的問題，提供一種分布式數據處理協調方法及系統。

一種分布式數據處理協調方法，包括：

任務調度器分類步驟，任務調度器對任務調度數據庫中的任務進行分類，為每個任務關聯批次，同一批次關聯一個或多個任務，并將每個批次與一個處理器關聯；

處理器獲取批次步驟，處理器從任務調度數據庫中獲取關聯的批次；

處理器處理任務步驟，處理器對關聯的批次所關聯的任務進行處理；

任務調度器重分配步驟，任務調度器定時檢查處理器的在線狀態，將在線狀態為下線的處理器作為下線處理器，將在線狀態為在線的處理器作為在線處理器，獲取與所述下線處理器關聯的批次作為待分配批次，將所述待分配批次重新與一個在線處理器關聯。

一種分布式數據處理協調系統，包括：

協調分類模塊，用于任務調度器對任務調度數據庫中的任務進行分類，為每個任務關聯批次，同一批次關聯一個或多個任務，并將每個批次與一個處理器關聯；

處理器獲取批次模塊，用于處理器從任務調度數據庫中獲取關聯的批次；

處理器處理任務模塊，用于處理器對關聯的批次所關聯的任務進行處理；

任務調度器重分配模塊，用于任務調度器定時檢查處理器的在線狀態，將在線狀態為下線的處理器作為下線處理器，將在線狀態為在線的處理器作為在線處理器，獲取與所述下線處理器關聯的批次作為待分配批次，將所述待分配批次重新與一個在線處理器關聯。

本發明由任務調度器對任務進行分類，由處理器對與其關聯的批次所關聯的任務進行處理，由于采用了任務調度器進行協調，因此，當處理器出現故障下線時，任務調度器對任務進行重新分配，使得分布式處理器能對任務進行協調處理。

附圖說明

圖1為本發明一種分布式數據處理協調方法的工作流程圖；

圖2為本發明最佳實施例的系統結構圖；

圖3為本發明最佳實施例的工作流程圖；

圖4為本發明一種分布式數據處理協調系統的結構模塊圖。

具體實施方式

下面結合附圖和具體實施例對本發明做進一步詳細的說明。

如圖1所示為本發明一種分布式數據處理協調方法的工作流程圖，包括：

步驟S101，任務調度器對任務調度數據庫中的任務進行分類，為每個任務關聯批次，同一批次關聯一個或多個任務，并將每個批次與一個處理器關聯；

步驟S102，處理器從任務調度數據庫中獲取關聯的批次；

步驟S103，處理器對關聯的批次所關聯的任務進行處理；

步驟S104，任務調度器定時檢查處理器的在線狀態，將在線狀態為下線的處理器作為下線處理器，將在線狀態為在線的處理器作為在線處理器，獲取與所述下線處理器關聯的批次作為待分配批次，將所述待分配批次重新與一個在線處理器關聯。

其中，在任務調度器執行完步驟S101后，處理器會持續執行步驟S102和步驟S103以更新其所關聯的批次，從而知道其所需要執行的任務。同時，任務調度器也會持續執行步驟S104以便定時檢查處理器的在線狀態。

上述步驟S102、S103和S104均長期執行直到接收到停止運行命令。

通過任務調度器執行步驟S104，使得下線處理器所處理的任務，能夠由其他在線處理器及時處理。

本發明采用的是任務調度器專門進行對任務進行分配，使得處理器無需自行管理協調任務，提高了處理器的處理速度。