[發明專利]一種大規模流式集合數據的分布式處理方法

有效

• 申請號: 201710087603.3
• 申請日: 2017-02-17
• 公開（公告）號: CN106990913B
• 公開（公告）日: 2019-07-26
• 發明（設計）人: 王建民;龍明盛;王玨;黃向東
• 申請（專利權）人: 清華大學
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 羅文群

1.一種大規模流式集合數據的分布式處理方法，其特征在于該處理方法包括以下步驟：

(1)監控系統從數據源接收集合數據，將接收的集合數據記為記當前分布式存儲系統的寫入隊列長度為w_current，分布式存儲系統的最大寫入隊列長度為w_max，對當前分布式存儲系統的寫入隊列長度進行判斷，若0＜w_currennt＜w_max，則進入步驟(2)；若w_current≥w_max，則監控系統將接收的集合數據寫入監控系統的磁盤，并記寫入磁盤的集合數據為s_store，繼續接收集合數據，重復本步驟，若w_current＝0，則訪問磁盤上的s_store，并對磁盤上的s_store進行判斷，若s_store存在，則進入步驟(2)，若s_store不存在，則重復本步驟；

(2)根據集合數據中的頭信息，所述頭信息為集合數據中的成員數n，監控系統對集合數據進行判斷，記接收的集合數據當前到達的成員數為s_current，若s_current＝n，則監控系統將集合數據存儲到分布式存儲系統中，進入步驟(3)，若s_current＜n，則返回步驟(1)；

(3)監控系統將集合數據中在分布式存儲系統中的消息，所述消息為集合數據在分布式存儲系統中的表名與行、列位置，發送至分布式消息系統中，分布式消息系統將接收的消息寫入分布式消息系統的消息隊列Q中，記當前分布式消息系統隊列中的所有消息為I_current，設定一個消息隊列Q的長度閾值為L_max，并記當前消息隊列的長度為L_current，根據消息隊列Q的長度閾值L_max，對消息隊列Q的長度進行判斷，若L_current≥L_max，則將I_current中的L_current/2的消息存儲到分布式消息系統的磁盤中，并記存儲至磁盤中的消息為I_store，重復本步驟，若L_current＝0，則訪問分布式消息系統的磁盤，并對磁盤上的消息進行判斷，若磁盤上存在消息I_store，則將消息I_store寫入消息隊列Q中，重復本步驟，若磁盤上不存在消息I_store，則返回步驟(1)，若L_max＞L_current＞0，則進行步驟(4)；

(4)監控系統訪問分布式存儲系統，對分布式存儲系統的寫入隊列長度進行判斷，若w_current＜w_max，進入步驟(5)，若w_current≥w_max，重復本步驟；

(5)分布式計算系統從分布式消息系統隊列中Q中獲取消息，設定分布式計算系統最少處理的消息閾值為L_min，獲取消息的時間閾值為t_mmax，記當前獲取消息的等待時間為t_wait，對分布式消息系統中的消息隊列Q進行判斷，若分布式消息系統的消息隊列Q中L_current≥L_min，且t_wait≤t_max，則分布式計算系統從分布式消息系統的消息隊列Q中獲取消息，進入步驟(6)，若分布式消息系統的隊列Q中L_current＜L_min，或t_wait＞t_max，則放棄本次獲取的消息，返回上述步驟(2)；

(6)分布式計算系統根據獲取的消息，從分布式存儲系統中獲取相應的集合數據，并對從分布式存儲系統中獲取的集合數據進行判斷，若分布式存儲系統中存在與獲取的消息相對應的集合數據，則進行步驟(7)，若分布式存儲系統中不存在與獲取的消息相對應的集合數據，則返回上述步驟(2)；

(7)分布式計算系統根據步驟(6)獲得的集合數據，通過處理算法和業務邏輯對集合數據進行分布式的處理和計算，得到計算結果，并通知監控系統計算完成；

(8)記分布式計算系統寫入分布式存儲系統的最大等待時間為save_max，當前等待時間為save_current，監控系統對分布式計算系統寫入分布式存儲系統的等待時間進行判斷，若save_current≥save_max，則返回步驟(6)，若save_current＜save_max，則監控系統根據獲取的消息，將分布式計算結果存儲到分布式存儲系統的相應位置。