[發(fā)明專利]分布式系統(tǒng)數(shù)據(jù)處理方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201711232475.3
• 申請(qǐng)日: 2017-11-30
• 公開（公告）號(hào): CN108121768A
• 公開（公告）日: 2018-06-05
• 發(fā)明（設(shè)計(jì)）人: 李立帥
• 申請(qǐng)（專利權(quán)）人: 北京元心科技有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30;H04L29/08
• 代理公司: 北京金闕華進(jìn)專利事務(wù)所(普通合伙) 11224
• 代理人: 陳建春

1.一種分布式系統(tǒng)數(shù)據(jù)處理方法，其特征在于，所述方法包括：

步驟A，分布式系統(tǒng)的領(lǐng)導(dǎo)服務(wù)器接收來自客戶端的更新日志請(qǐng)求；

步驟B，所述領(lǐng)導(dǎo)服務(wù)器響應(yīng)于接收到更新日志請(qǐng)求，將所述更新日志請(qǐng)求發(fā)送給群眾服務(wù)器并自我本地更新日志信息；

重復(fù)步驟A-B直到所述領(lǐng)導(dǎo)服務(wù)器接收到第一數(shù)量的群眾服務(wù)器發(fā)送的更新完成信息為止；

響應(yīng)于確定第一數(shù)量的群眾服務(wù)器完成日志更新，另起一線程處理提交給狀態(tài)機(jī)的操作；

所述領(lǐng)導(dǎo)服務(wù)器返回執(zhí)行步驟A。

2.根據(jù)權(quán)利要求1所述的分布式系統(tǒng)數(shù)據(jù)處理方法，其特征在于，所述步驟B包括：

所述領(lǐng)導(dǎo)服務(wù)器響應(yīng)于接收到更新日志請(qǐng)求，緩存所接收的更新日志請(qǐng)求并自我本地更新日志信息；

響應(yīng)于確定緩存的更新日志請(qǐng)求的數(shù)量達(dá)到預(yù)定閾值，將緩存的更新日志請(qǐng)求批量發(fā)送給群眾服務(wù)器。

3.根據(jù)權(quán)利要求1或2所述的分布式系統(tǒng)數(shù)據(jù)處理方法，其特征在于，所述第一數(shù)量為群眾服務(wù)器的數(shù)量的一半與全部之間的任意值。

4.根據(jù)權(quán)利要求2所述的分布式系統(tǒng)數(shù)據(jù)處理方法，其特征在于，所述方法還包括：

所述領(lǐng)導(dǎo)服務(wù)器維護(hù)一個(gè)表示下一個(gè)給群眾服務(wù)器發(fā)送的日志信息的位置的變量；

響應(yīng)于所述領(lǐng)導(dǎo)服務(wù)器給群眾服務(wù)器發(fā)送了一批日志后，直接更新所述變量的值，并立刻緩存并發(fā)送后面的日志信息。

5.根據(jù)權(quán)利要求1或2所述的分布式系統(tǒng)數(shù)據(jù)處理方法，其特征在于，所述預(yù)定閾值根據(jù)所述分布式系統(tǒng)的性能進(jìn)行調(diào)整。

6.一種分布式系統(tǒng)數(shù)據(jù)處理裝置，其特征在于，所述裝置包括：

接收模塊，用于分布式系統(tǒng)的領(lǐng)導(dǎo)服務(wù)器接收來自客戶端的更新日志請(qǐng)求；

發(fā)送及更新模塊，用于所述領(lǐng)導(dǎo)服務(wù)器響應(yīng)于接收到更新日志請(qǐng)求，將所述更新日志請(qǐng)求發(fā)送給群眾服務(wù)器并自我本地更新日志信息；

循環(huán)模塊，用于重復(fù)接收模塊與發(fā)送及更新模塊的操作直到所述領(lǐng)導(dǎo)服務(wù)器接收到第一數(shù)量的群眾服務(wù)器發(fā)送的更新完成信息為止；

另起線程模塊，用于響應(yīng)于確定第一數(shù)量的群眾服務(wù)器完成日志更新，另起一線程處理提交給狀態(tài)機(jī)的操作；

返回模塊，用于使所述領(lǐng)導(dǎo)服務(wù)器返回繼續(xù)接收來自客戶端的更新日志請(qǐng)求。

7.根據(jù)權(quán)利要求6所述的分布式系統(tǒng)數(shù)據(jù)處理裝置，其特征在于，所述發(fā)送及更新模塊包括：

緩存及更新子模塊，用于所述領(lǐng)導(dǎo)服務(wù)器響應(yīng)于接收到更新日志請(qǐng)求，緩存所接收的更新日志請(qǐng)求并自我本地更新日志信息；

批量發(fā)送子模塊，用于響應(yīng)于確定緩存的更新日志請(qǐng)求的數(shù)量達(dá)到預(yù)定閾值，將緩存的更新日志請(qǐng)求批量發(fā)送給群眾服務(wù)器。

8.根據(jù)權(quán)利要求6或7所述的分布式系統(tǒng)數(shù)據(jù)處理裝置，其特征在于，所述第一數(shù)量為群眾服務(wù)器的數(shù)量的一半與全部之間的任意值。

9.根據(jù)權(quán)利要求7所述的分布式系統(tǒng)數(shù)據(jù)處理裝置，其特征在于，所述裝置還包括：

變量維護(hù)模塊，用于所述領(lǐng)導(dǎo)服務(wù)器維護(hù)一個(gè)表示下一個(gè)給群眾服務(wù)器發(fā)送的日志信息的位置的變量；

變量更新模塊，用于響應(yīng)于所述領(lǐng)導(dǎo)服務(wù)器給群眾服務(wù)器發(fā)送了一批日志后，直接更新所述變量的值，并立刻緩存并發(fā)送后面的日志信息。

10.根據(jù)權(quán)利要求6或7所述的分布式系統(tǒng)數(shù)據(jù)處理裝置，其特征在于，所述預(yù)定閾值根據(jù)所述分布式系統(tǒng)的性能進(jìn)行調(diào)整。