[發明專利]一種基于map/reduce的實時響應方法及系統

有效

• 申請號: 201510923573.6
• 申請日: 2015-12-14
• 公開（公告）號: CN105550305B
• 公開（公告）日: 2019-11-22
• 發明（設計）人: 余海濤
• 申請（專利權）人: 北京銳安科技有限公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06F9/50
• 代理公司: 11332 北京品源專利代理有限公司
• 代理人: 胡彬;孟金喆<國際申請>=<國際公布>=

本發明公開了一種基于map/reduce的實時響應方法及系統，其中，方法包括：主控模塊初始化并啟動map/reduce運算后，所述主控模塊接收服務請求模塊發送的服務請求消息；所述主控模塊將所述服務請求消息分配給空閑mapper模塊；所述空閑mapper模塊接收所述服務請求消息，判斷所述服務請求消息是否為終止服務的消息，若否，則處理服務請求，并將處理結果作為服務響應消息返回給主控模塊后，等待響應下一個服務請求消息。本發明解決了現有的map/reduce程序在用于需要快速響應、處理大量小數據任務的工作時效率較低的問題，提高了數據處理效率。

技術領域

本發明涉及數據處理技術，尤其涉及一種基于map/reduce的實時響應方法及系統。

背景技術

并行計算模型map/reduce出現前，在java編程領域，利用多臺計算機并行處理數據，讓這些計算機之間進行協作非常困難，導致無法在海量數據之間建立關聯。

map/reduce模型提供了對海量數據的處理方法，它的原理是把一個計算機局域網內的多臺只具有普通計算能力的計算機統一管理起來，使得它們能夠并行處理海量數據，并在處理數據的過程之中，進行分工協作完成一些業務邏輯的計算，以此實現在海量數據之間建立關聯或者進行統計分析。

map/reduce程序主要分成3個模塊：主控模塊，mapper模塊和reduce模塊。其中，主控模塊負責初始化，mapper模塊和reduce模塊負責進行業務邏輯計算和處理。

一旦map/reduce運算啟動，服務請求模塊便將提交到hadoop平臺的服務請求消息發送給主控模塊，主控模塊將服務請求消息分發到mapper模塊進行處理，mapper模塊處理完畢后通知主控模塊，并退出該次map/reduce運算，主控模塊可以再次啟動下一個map/reduce運算或者進行其他處理。

map/reduce模型可以調動群集內所有的計算機進行并行計算和協作處理數據，它的強大是顯而易見的。但是，在一般應用場景中，map/reduce也有它的不足，例如，map/reduce每次啟動運行的時間都需要30到50秒，如果每次啟動后，map/reduce都只執行很少的時間，map/reduce的效率就很低。因此，現有的map/reduce程序在用于需要快速響應、處理大量小數據任務的工作時，效率較低。

發明內容

有鑒于此，本發明的目的是提出一種基于map/reduce的實時響應方法及系統，以解決現有的map/reduce程序在用于需要快速響應、處理大量小數據任務的工作時效率較低的問題，提高數據處理效率。

為實現上述目的，本發明采用如下技術方案：

一方面，本發明實施例提供了一種基于map/reduce的實時響應方法，包括：

主控模塊初始化并啟動map/reduce運算后，所述主控模塊接收服務請求模塊發送的服務請求消息；

所述主控模塊將所述服務請求消息分配給空閑mapper模塊；

所述空閑mapper模塊接收所述服務請求消息，判斷所述服務請求消息是否為終止服務的消息，若否，則處理服務請求，并將處理結果作為服務響應消息返回給主控模塊后，等待響應下一個服務請求消息。

進一步地，還包括：

若判斷所述服務請求消息為終止服務的消息，則所述空閑mapper模塊終止等待響應服務請求消息的操作。

進一步地，在主控模塊初始化并啟動map/reduce運算之前，還包括：

所述主控模塊為每個mapper模塊進行編號；

相應地，所述主控模塊將所述服務請求消息分配給空閑mapper模塊，包括：