[發明專利]一種基于map/reduce的實時響應方法及系統

有效

• 申請號: 201510923573.6
• 申請日: 2015-12-14
• 公開（公告）號: CN105550305B
• 公開（公告）日: 2019-11-22
• 發明（設計）人: 余海濤
• 申請（專利權）人: 北京銳安科技有限公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06F9/50
• 代理公司: 11332 北京品源專利代理有限公司
• 代理人: 胡彬;孟金喆<國際申請>=<國際公布>=

1.一種基于map/reduce的實時響應方法，其特征在于，包括：

主控模塊初始化并啟動map/reduce運算后，所述主控模塊接收服務請求模塊發送的服務請求消息；

所述主控模塊將所述服務請求消息分配給空閑mapper模塊；

所述空閑mapper模塊接收所述服務請求消息，判斷所述服務請求消息是否為終止服務的消息，若否，則處理服務請求，并將處理結果作為服務響應消息返回給主控模塊后，等待響應下一個服務請求消息。

2.根據權利要求1所述的方法，其特征在于，還包括：

若判斷所述服務請求消息為終止服務的消息，則所述空閑mapper模塊終止等待響應服務請求消息的操作。

3.根據權利要求1所述的方法，其特征在于，在主控模塊初始化并啟動map/reduce運算之前，還包括：

所述主控模塊為每個mapper模塊進行編號；

相應地，所述主控模塊將所述服務請求消息分配給空閑mapper模塊，包括：

所述主控模塊獲取所有空閑mapper模塊的編號，并選擇其中一個空閑mapper模塊的編號；

所述主控模塊將所述服務請求消息發送給所選擇的空閑mapper模塊的編號對應的空閑mapper模塊。

4.根據權利要求3所述的方法，其特征在于，所述主控模塊為每個mapper模塊進行編號包括：

所述主控模塊獲取預先創建的一個多行且每行有一個數字的文本文件；

所述主控模塊向每個mapper模塊發送所述文本文件的一行文本，以使每個mapper模塊得到不同的文本化的數字，并將所述數字作為mapper模塊的編號。

5.根據權利要求1所述的方法，其特征在于，在所述空閑mapper模塊處理服務請求之前，還包括：

等待時間設置模塊將hadoop系統接收mapper模塊進度報告的等待時間設為0，以防止所述空閑mapper模塊被hadoop系統強行終止。

6.一種基于map/reduce的實時響應系統，其特征在于，包括服務請求模塊、主控模塊和mapper模塊；

所述服務請求模塊包括服務請求消息發送單元，用于向所述主控模塊發送服務請求消息；以及服務響應消息接收單元，用于接收所述主控模塊轉發的服務響應消息；

所述主控模塊包括map/reduce啟動單元，用于初始化并啟動map/reduce運算；服務請求消息第一接收單元，用于接收所述服務請求模塊發送的服務請求消息；服務請求消息分配單元，用于將所述服務請求消息分配給空閑mapper模塊；以及服務響應消息轉發單元，用于接收空閑mapper模塊返回的服務響應消息，并將所述服務響應消息轉發給所述服務請求模塊；

所述mapper模塊包括服務請求消息第二接收單元，用于接收主控模塊分配的服務請求消息；服務請求消息判斷單元，用于判斷所述服務請求消息是否為終止服務的消息；服務響應消息返回單元，用于若判斷所述服務請求消息不為終止服務的消息，則處理服務請求，并將處理結果作為服務響應消息返回給主控模塊；以及服務請求消息等待單元，用于在將所述服務響應消息返回給主控模塊之后，等待響應下一個服務請求消息。

7.根據權利要求6所述的系統，其特征在于，所述mapper模塊還包括：

響應終止單元，用于若判斷所述服務請求消息為終止服務的消息，則終止所述空閑mapper模塊等待響應服務請求消息的操作。

8.根據權利要求6所述的系統，其特征在于，所述主控模塊還包括：

mapper模塊編號單元，用于在主控模塊初始化并啟動map/reduce運算之前，為每個mapper模塊進行編號；

相應地，所述服務請求消息分配單元具體用于：

獲取所有空閑mapper模塊的編號，并選擇其中一個空閑mapper模塊的編號；

將所述服務請求消息發送給所選擇的空閑mapper模塊的編號對應的空閑mapper模塊。