[發明專利]一種分布式數據處理協調方法及系統

在審

• 申請號: 201410710691.4
• 申請日: 2014-11-28
• 公開（公告）號: CN104462302A
• 公開（公告）日: 2015-03-25
• 發明（設計）人: 凡紅恩
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F9/48
• 代理公司: 北京邦信陽專利商標代理有限公司 11012
• 代理人: 金璽

1.一種分布式數據處理協調方法，其特征在于，包括：

任務調度器分類步驟，任務調度器對任務調度數據庫中的任務進行分類，為每個任務關聯批次，同一批次關聯一個或多個任務，并將每個批次與一個處理器關聯；

處理器獲取批次步驟，處理器從任務調度數據庫中獲取關聯的批次；

處理器處理任務步驟，處理器對關聯的批次所關聯的任務進行處理；

任務調度器重分配步驟，任務調度器定時檢查處理器的在線狀態，將在線狀態為下線的處理器作為下線處理器，將在線狀態為在線的處理器作為在線處理器，獲取與所述下線處理器關聯的批次作為待分配批次，將所述待分配批次重新與一個在線處理器關聯。

2.根據權利要求1所述的分布式數據處理協調方法，其特征在于，還包括：

處理器心跳發送步驟，處理器定時向任務調度數據庫發送心跳信息；

所述任務調度器重分配步驟中，任務調度器將超過預設時間內沒有向任務調度數據庫發送心跳信息的處理器的在線狀態設為下線狀態，將在預設時間內向任務調度數據庫發送心跳信息的處理器的在線狀態設為在線狀態。

3.根據權利要求1所述的分布式數據處理協調方法，其特征在于：

所述任務調度器重分配步驟中，當任務調度器將所述待分配批次重新與一個在線處理器關聯前，設定任務調度數據庫的狀態為正在重新分配批次狀態，當任務調度器將所述待分配批次重新與一個在線處理器關聯后，設定任務調度數據庫的狀態為正常工作狀態；

所述處理器獲取批次步驟，具體包括：

處理器檢查任務調度數據庫的狀態：

如果任務調度數據庫的狀態為正在重新分配批次狀態，則處理器間隔預設時間后重新執行所述處理器獲取批次步驟；

如果任務調度數據庫的狀態為正常工作狀態，則處理器從任務調度數據庫中獲取關聯的批次，對關聯的批次所關聯的任務進行處理。

4.根據權利要求1所述的分布式數據處理協調方法，其特征在于，還包括：

處理器注冊步驟，處理器向任務調度數據庫發送注冊信息，任務調度數據庫保存所述注冊信息，并將處理器記錄為已注冊的處理器；

所述協調分類步驟中，任務調度器將每個批次與一個在任務調度數據庫中已注冊的處理器關聯。

5.根據權利要求4所述的分布式數據處理協調方法，其特征在于：

所述處理器注冊步驟，具體包括：處理器向任務調度數據庫發送包括處理類型的注冊信息，任務調度數據庫保存所述注冊信息，并將處理器記錄為已注冊的處理器，注冊信息中的處理類型作為該已注冊的處理器的處理類型；

所述協調分類步驟中，任務調度器對任務調度數據庫中的任務進行分類，為每個任務關聯批次，同一批次關聯一個或多個相同處理類型的任務，并將每個批次與一個在任務調度數據庫中已注冊且具有相同處理類型的處理器關聯。

6.一種分布式數據處理協調系統，其特征在于，包括：

協調分類模塊，用于任務調度器對任務調度數據庫中的任務進行分類，為每個任務關聯批次，同一批次關聯一個或多個任務，并將每個批次與一個處理器關聯；

處理器獲取批次模塊，用于處理器從任務調度數據庫中獲取關聯的批次；

處理器處理任務模塊，用于處理器對關聯的批次所關聯的任務進行處理；

任務調度器重分配模塊，用于任務調度器定時檢查處理器的在線狀態，將在線狀態為下線的處理器作為下線處理器，將在線狀態為在線的處理器作為在線處理器，獲取與所述下線處理器關聯的批次作為待分配批次，將所述待分配批次重新與一個在線處理器關聯。

7.根據權利要求6所述的分布式數據處理協調系統，其特征在于，還包括：

處理器心跳發送模塊，用于處理器定時向任務調度數據庫發送心跳信息；

所述任務調度器重分配模塊中，任務調度器將超過預設時間內沒有向任務調度數據庫發送心跳信息的處理器的在線狀態設為下線狀態，將在預設時間內向任務調度數據庫發送心跳信息的處理器的在線狀態設為在線狀態。