[發明專利]一種數據處理方法、系統、計算機設備和存儲介質

在審

• 申請號: 202010146240.8
• 申請日: 2020-03-05
• 公開（公告）號: CN111368002A
• 公開（公告）日: 2020-07-03
• 發明（設計）人: 王一超
• 申請（專利權）人: 廣東小天才科技有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/23
• 代理公司: 上海碩力知識產權代理事務所(普通合伙) 31251
• 代理人: 郭桂峰

本發明提供了一種數據處理方法、系統、計算機設備和存儲介質，其方法包括：Dledger集群中的主節點在接收到客戶端發送的寫請求后，對所述寫請求進行處理，得到日志數據；所述主節點向所述集群中所有的從節點廣播所述日志數據；主節點根據所述從節點對所述日志數據的存儲情況對所述用戶端進行反饋。能夠基于raft算法實現分布式消息存儲多副本機制可以很好實現消息存儲強一致性、高可靠、高可用等優點。

技術領域

本發明涉及數據處理技術領域，尤指一種數據處理方法、系統、計算機設備和存儲介質。

背景技術

自分布式系統出現，系統容災和一致性成為了經常被討論的話題。分布式消息存儲系統采用的是主從模式架構，其不足點在于：1、缺乏容災高可用性，不能自動控制節點切換，一旦出了問題需要人為介入手動切換，這就需要運維人員時刻在線處理節點異常。2、數據完整性無法保證，主從模式會存在數據丟失的可能。

發明內容

本發明的目的是提供一種數據處理方法、系統、計算機設備和存儲介質，能夠基于分布式消息存儲多副本機制實現消息存儲強一致性、高可靠、高可用。

本發明提供的技術方案如下：

一方面，本發明提供了一種數據處理方法，包括：Dledger集群中的主節點在接收到客戶端發送的寫請求后，對所述寫請求進行處理，得到日志數據；所述主節點向所述集群中所有的從節點廣播所述日志數據；所述主節點根據所述從節點對所述日志數據的存儲情況對所述用戶端進行反饋。

在一個實施例中，所述主節點根據所述從節點對所述日志數據的存儲情況對所述用戶端進行反饋，包括：所述主節點接收所述從節點反饋的存儲信息，所述存儲信息記載了所述從節點是否存儲所述日志數據；所述主節點根據所述從節點反饋的存儲信息，判斷所述集群中是否有預設數量的從節點存儲了所述日志數據，并根據判斷結果向所述用戶端進行反饋。

在一個實施例中，所述主節點根據所述從節點反饋的存儲信息，判斷所述集群中是否有預設數量的從節點存儲了所述日志數據，并根據判斷結果向所述用戶端進行反饋，具體包括：所述主節點對所述從節點反饋的所述存儲結果進行仲裁，判斷所述集群中是否有超過一半數量的從節點存儲了所述日志數據，若是，所述主節點向所述客戶端反饋寫入成功通知；若否，所述主節點向所述客戶端反饋寫入失敗通知。

在一個實施例中，所述方法還包括：當Dledger集群接收到客戶端發起的寫請求時，將所述寫請求寫入所述集群中的主節點。

另一方面，本發明還提供了一種數據處理系統，包括：處理模塊，用于當Dledger集群中的主節點在接收到客戶端發送的寫請求后，控制所述主節點對所述寫請求進行處理，得到日志數據；廣播模塊，用于控制所述主節點向所述集群中所有的從節點廣播所述日志數據；反饋模塊，用于控制所述主節點根據所述從節點對所述日志數據的存儲情況對所述用戶端進行反饋。

在一個實施例中，所述反饋模塊，具體用于控制所述主節點接收所述從節點反饋的存儲信息，根據所述從節點反饋的存儲信息，判斷所述集群中是否有預設數量的從節點存儲了所述日志數據，并根據判斷結果向所述用戶端進行反饋；其中，所述存儲信息記載了所述從節點是否存儲所述日志數據。

在一個實施例中，在所述主節點根據所述從節點反饋的存儲信息，判斷所述集群中是否有預設數量的從節點存儲了所述日志數據，并根據判斷結果向所述用戶端進行反饋方面，所述反饋模塊具體用于控制所述主節點對所述從節點反饋的所述存儲結果進行仲裁，判斷所述集群中是否有超過一半數量的從節點存儲了所述日志數據，若是，所述主節點向所述客戶端反饋寫入成功通知；若否，所述主節點向所述客戶端反饋寫入失敗通知。

在一個實施例中，所述系統還包括：讀寫模塊，用于當Dledger集群接收到客戶端發起的寫請求時，將所述寫請求寫入所述集群中的主節點。