[發明專利]分布式系統數據處理方法及裝置

在審

• 申請號: 201711232475.3
• 申請日: 2017-11-30
• 公開（公告）號: CN108121768A
• 公開（公告）日: 2018-06-05
• 發明（設計）人: 李立帥
• 申請（專利權）人: 北京元心科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;H04L29/08
• 代理公司: 北京金闕華進專利事務所(普通合伙) 11224
• 代理人: 陳建春

本申請公開了分布式系統數據處理方法及裝置，其中所述方法包括：步驟A，分布式系統的領導服務器接收來自客戶端的更新日志請求；步驟B，所述領導服務器響應于接收到更新日志請求，將所述更新日志請求發送給群眾服務器并自我本地更新日志信息；重復步驟A?B直到所述領導服務器接收到第一數量的群眾服務器發送的更新完成信息為止；響應于確定第一數量的群眾服務器完成日志更新，另起一線程處理提交給狀態機的操作；所述領導服務器返回執行步驟A。本發明可提高分布式系統的性能。

技術領域

本申請涉及電數字數據處理領域，尤其涉及分布式系統數據處理方法及裝置。

背景技術

隨著計算機技術的發展和數據規模越來越大，分布式系統被越來越多地應用于大型網站架構和云計算系統中，以更好地處理大規模數據的分析與存儲問題。在分布式系統中，通常有很多服務器節點，在收到客戶端發來的數據寫入請求時，需要確保所有服務器節點都正確地更新數據，即多個服務器的狀態達成一致。然而，在一個分布式系統中，有可能發生各種意外，例如服務器網絡異常或服務器崩潰等，該服務器就無法與其它服務器達成一致了。分布式系統中的一個非常重要的內容就是如何處理數據一致性問題，即多個節點間如何保障數據一致。業界一種典型的方案是采用raft算法來實現數據一致性，但是該算法實現的一致性系統性能并不夠好。

發明內容

為了克服現有技術中存在的不足，本發明要解決的技術問題是提供一種分布式系統數據處理方法及裝置，其提供更加高效的分布式一致性系統。

為解決上述技術問題，本發明的分布式系統數據處理方法，包括：

步驟A，分布式系統的領導服務器接收來自客戶端的更新日志請求；

步驟B，所述領導服務器響應于接收到更新日志請求，將所述更新日志請求發送給群眾服務器并自我本地更新日志信息；

重復步驟A-B直到所述領導服務器接收到第一數量的群眾服務器發送的更新完成信息為止；

響應于確定第一數量的群眾服務器完成日志更新，另起一線程處理提交給狀態機的操作；

所述領導服務器返回執行步驟A。

作為本發明所述方法的改進，所述步驟B包括：所述領導服務器響應于接收到更新日志請求，緩存所接收的更新日志請求并自我本地更新日志信息；響應于確定緩存的更新日志請求的數量達到預定閾值，將緩存的更新日志請求批量發送給群眾服務器。

作為本發明所述方法的另一種改進，所述方法還包括：所述狀態機處理完成后將結果返回給所述客戶端。

作為本發明所述方法的進一步改進，所述第一數量為群眾服務器的數量的一半與全部之間的任意值。

作為本發明所述方法的另一進一步改進，所述預定閾值根據所述分布式系統的性能進行調整。

作為本發明所述方法的又一改進，所述方法還包括：所述領導服務器維護一個表示下一個給群眾服務器發送的日志信息的位置的變量；響應于所述領導服務器給群眾服務器發送了一批日志后，直接更新所述變量的值，并立刻緩存并發送后面的日志信息。

為解決上述技術問題，本發明的分布式系統數據處理裝置，包括：

接收模塊，用于分布式系統的領導服務器接收來自客戶端的更新日志請求；

發送及更新模塊，用于所述領導服務器響應于接收到更新日志請求，將所述更新日志請求發送給群眾服務器并自我本地更新日志信息；

循環模塊，用于重復接收模塊與發送及更新模塊的操作直到所述領導服務器接收到第一數量的群眾服務器發送的更新完成信息為止；

另起線程模塊，用于響應于確定第一數量的群眾服務器完成日志更新，另起一線程處理提交給狀態機的操作；