[發明專利]一種混合大數據處理系統及處理方法

在審

• 申請號: 201410605808.2
• 申請日: 2014-10-31
• 公開（公告）號: CN104468710A
• 公開（公告）日: 2015-03-25
• 發明（設計）人: 王茜;史晨昱;梁小江;李安穎;葛新
• 申請（專利權）人: 西安未來國際信息股份有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 西安弘理專利事務所 61214
• 代理人: 羅笛

1.一種混合大數據處理系統，其特征在于，包括與Gearman服務器端(1)連接的多個客戶端(2)和多個數據處理模塊，所述多個數據處理模塊均與存儲系統(5)連接。

2.根據權利要求1所述的一種混合大數據處理系統，其特征在于，所述數據處理模塊包括strom?topology單元(3)，所述strom?topology單元(3)與mapreduce?Job單元(4)連接，所述strom?topology單元(3)和mapreduce?Job單元(4)均與Gearman服務器端(1)連接，所述strom?topology單元(3)和mapreduce?Job單元(4)均與存儲系統(5)連接。

3.一種混合大數據處理方法，其特征在于，采用一種混合大數據處理系統，其結構為：包括與Gearman服務器端(1)連接的多個客戶端(2)和多個數據處理模塊，所述多個數據處理模塊均與存儲系統(5)連接；

所述數據處理模塊包括strom?topology單元(3)，所述strom?topology單元(3)與mapreduce?Job單元(4)連接，所述strom?topology單元(3)和mapreduce?Job單元(4)均與Gearman服務器端(1)連接，所述strom?topology單元(3)和mapreduce?Job單元(4)均與存儲系統(5)連接；

采用上述混合大數據處理系統的處理方法，具體按照以下步驟實施：

步驟1，用戶根據需求編寫請求，客戶端(2)發送請求給Gearman服務器端(1)，所述請求為實時數據處理請求或離線批量數據處理請求；

步驟2，Gearman服務器端(1)接收客戶端發送的請求，并根據請求判斷將需要處理的業務分發給strom?topology單元(3)或mapreduce?Job單元(4)，如果請求為實時數據處理請求，則執行步驟3；如果請求為離線批量數據處理請求，則執行步驟4；

步驟3，strom?topology單元(3)對數據進行實時處理，并將處理結果經Gearman服務器端(1)返回給客戶端(2)，將需要存儲的數據存入存儲系統(5)中；

步驟4，mapreduce?Job單元(4)對數據進行離線批量處理，并將處理結果經Gearman服務器端(1)返回給客戶端(2)，將需要存儲的數據存入存儲系統(5)中。

4.根據權利要求3所述的一種混合大數據處理方法，其特征在于，步驟3具體按照以下步驟實施：

步驟3.1，strom?topology單元(3)判斷資源是否緊張，如果資源緊張，則向Hadoop系統借調資源，并執行步驟3.2；如果資源不緊張，則執行步驟3.2；

步驟3.2，strom?topology單元(3)對數據進行實時處理，并在空閑時釋放資源；

步驟3.3，strom?topology單元(3)判斷經過實時處理后的數據是否需要mapreduce?Job單元(4)再做處理，如果需要，則將經過實時處理后的數據發送給mapreduce?Job單元(4)處理，并將經過mapreduce?Job單元(4)處理后的數據經Gearman服務器端(1)返回給客戶端(2)，然后執行步驟3.4；如果不需要，則將經過實時處理后的數據經Gearman服務器端(1)返回給客戶端(2)，然后執行步驟3.4；

步驟3.4，strom?topology單元(3)判斷實時處理后的數據或經過mapreduce?Job單元(4)處理后的數據是否需要存儲，如果需要存儲，則將最終處理后的數據發送給存儲系統(5)存儲。

5.根據權利要求3所述的一種混合大數據處理方法，其特征在于，步驟4具體按照以下步驟實施：

步驟4.1，mapreduce?Job單元(4)對離線批量數據進行處理；

步驟4.2，mapreduce?Job單元(4)將經過離線批量處理后的數據經Gearman服務器端(1)返回給客戶端(2)，并判斷經過離線批量處理后的數據是否需要存儲，如果需要存儲，則將經過mapreduce?Job單元(4)處理后的數據發送給存儲系統(5)進行存儲。