[發(fā)明專利]一種基于map/reduce的實時響應(yīng)方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201510923573.6
• 申請日: 2015-12-14
• 公開（公告）號: CN105550305B
• 公開（公告）日: 2019-11-22
• 發(fā)明（設(shè)計）人: 余海濤
• 申請（專利權(quán)）人: 北京銳安科技有限公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06F9/50
• 代理公司: 11332 北京品源專利代理有限公司
• 代理人: 胡彬;孟金喆<國際申請>=<國際公布>=

1.一種基于map/reduce的實時響應(yīng)方法，其特征在于，包括：

主控模塊初始化并啟動map/reduce運算后，所述主控模塊接收服務(wù)請求模塊發(fā)送的服務(wù)請求消息；

所述主控模塊將所述服務(wù)請求消息分配給空閑mapper模塊；

所述空閑mapper模塊接收所述服務(wù)請求消息，判斷所述服務(wù)請求消息是否為終止服務(wù)的消息，若否，則處理服務(wù)請求，并將處理結(jié)果作為服務(wù)響應(yīng)消息返回給主控模塊后，等待響應(yīng)下一個服務(wù)請求消息。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括：

若判斷所述服務(wù)請求消息為終止服務(wù)的消息，則所述空閑mapper模塊終止等待響應(yīng)服務(wù)請求消息的操作。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，在主控模塊初始化并啟動map/reduce運算之前，還包括：

所述主控模塊為每個mapper模塊進行編號；

相應(yīng)地，所述主控模塊將所述服務(wù)請求消息分配給空閑mapper模塊，包括：

所述主控模塊獲取所有空閑mapper模塊的編號，并選擇其中一個空閑mapper模塊的編號；

所述主控模塊將所述服務(wù)請求消息發(fā)送給所選擇的空閑mapper模塊的編號對應(yīng)的空閑mapper模塊。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述主控模塊為每個mapper模塊進行編號包括：

所述主控模塊獲取預(yù)先創(chuàng)建的一個多行且每行有一個數(shù)字的文本文件；

所述主控模塊向每個mapper模塊發(fā)送所述文本文件的一行文本，以使每個mapper模塊得到不同的文本化的數(shù)字，并將所述數(shù)字作為mapper模塊的編號。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述空閑mapper模塊處理服務(wù)請求之前，還包括：

等待時間設(shè)置模塊將hadoop系統(tǒng)接收mapper模塊進度報告的等待時間設(shè)為0，以防止所述空閑mapper模塊被hadoop系統(tǒng)強行終止。

6.一種基于map/reduce的實時響應(yīng)系統(tǒng)，其特征在于，包括服務(wù)請求模塊、主控模塊和mapper模塊；

所述服務(wù)請求模塊包括服務(wù)請求消息發(fā)送單元，用于向所述主控模塊發(fā)送服務(wù)請求消息；以及服務(wù)響應(yīng)消息接收單元，用于接收所述主控模塊轉(zhuǎn)發(fā)的服務(wù)響應(yīng)消息；

所述主控模塊包括map/reduce啟動單元，用于初始化并啟動map/reduce運算；服務(wù)請求消息第一接收單元，用于接收所述服務(wù)請求模塊發(fā)送的服務(wù)請求消息；服務(wù)請求消息分配單元，用于將所述服務(wù)請求消息分配給空閑mapper模塊；以及服務(wù)響應(yīng)消息轉(zhuǎn)發(fā)單元，用于接收空閑mapper模塊返回的服務(wù)響應(yīng)消息，并將所述服務(wù)響應(yīng)消息轉(zhuǎn)發(fā)給所述服務(wù)請求模塊；

所述mapper模塊包括服務(wù)請求消息第二接收單元，用于接收主控模塊分配的服務(wù)請求消息；服務(wù)請求消息判斷單元，用于判斷所述服務(wù)請求消息是否為終止服務(wù)的消息；服務(wù)響應(yīng)消息返回單元，用于若判斷所述服務(wù)請求消息不為終止服務(wù)的消息，則處理服務(wù)請求，并將處理結(jié)果作為服務(wù)響應(yīng)消息返回給主控模塊；以及服務(wù)請求消息等待單元，用于在將所述服務(wù)響應(yīng)消息返回給主控模塊之后，等待響應(yīng)下一個服務(wù)請求消息。

7.根據(jù)權(quán)利要求6所述的系統(tǒng)，其特征在于，所述mapper模塊還包括：

響應(yīng)終止單元，用于若判斷所述服務(wù)請求消息為終止服務(wù)的消息，則終止所述空閑mapper模塊等待響應(yīng)服務(wù)請求消息的操作。

8.根據(jù)權(quán)利要求6所述的系統(tǒng)，其特征在于，所述主控模塊還包括：

mapper模塊編號單元，用于在主控模塊初始化并啟動map/reduce運算之前，為每個mapper模塊進行編號；

相應(yīng)地，所述服務(wù)請求消息分配單元具體用于：

獲取所有空閑mapper模塊的編號，并選擇其中一個空閑mapper模塊的編號；

將所述服務(wù)請求消息發(fā)送給所選擇的空閑mapper模塊的編號對應(yīng)的空閑mapper模塊。