[發明專利]分布式系統中的數據寫方法、服務器及客戶端

有效

• 申請號: 201910136605.6
• 申請日: 2019-02-25
• 公開（公告）號: CN111611068B
• 公開（公告）日: 2022-07-15
• 發明（設計）人: 汪東升;王占業
• 申請（專利權）人: 清華大學
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 王瑩;李相雨

本發明實施例提供一種分布式系統中的數據寫方法、服務器及客戶端，所述方法包括：在預設等待時間周期內，接收客戶端以預先獲取的速度發送的待寫數據的寫請求，并將各所述寫請求放入等待隊列中；經過所述預設等待時間周期后，基于兩階段提交協議將所述等待隊列中的寫請求批量完成，并根據處理各所述寫請求時的性能狀態，判斷主副本所在計算機節點是否已達到性能瓶頸；將各所述寫請求對應的判斷結果發送給所述客戶端，以供所述客戶端根據各所述寫請求對應的判斷結果調整所述速度，以最近調整的所述速度向所述主副本所在計算機節點發送寫請求。本發明實施例提升了服務器端的吞吐率，且避免負載過重，方法簡單，易于實施。

技術領域

本發明實施例屬于計算機存儲技術領域，更具體地，涉及一種分布式系統中的數據寫方法、服務器及客戶端。

背景技術

在電子商務、社交網絡、在線音視頻服務等互聯網應用的推動下，全球的數據正爆炸增長。如何存儲與管理如此龐大的數據集合，并能通過分析挖掘從中找尋有價值的規律和知識，為各行業提供真正的智慧，是近及年來學術研究的熱點。

以Hadoop等大數據處理平臺為代表的大規模分布式處理平臺為解決海量數據存儲與管理的問題應運而生，它具有可靠性高、可擴展性強等特點。在大規模分布式系統中，每份數據都有多個副本，這就引出了數據一致性問題。為了保證副本間的強一致性，系統設計者一般采用兩階段提交協議(2phase commit，2PC)。先任意指定數據副本中的一個副本為主副本，其余副本為從副本。外界應用對于該數據的寫操作都會發送至該數據主副本所在的計算機節點，開始執行兩階段提交協議。每完成一次寫操作都會在主副本及從副本所在的計算機節點間產生兩次網絡交互。假設主副本要執行N個寫操作，則完成這些操作需要在主從副本間產生2N次網絡交互，顯然會產生大量網絡延時。

一種簡單的優化思路是在主副本所在計算機節點中設置緩存，接收到一批寫操作，例如P個后，再通過一次兩階段提交協議完成這P個寫操作。顯然，P值設置的越大，則分布式系統處理寫操作的吞吐率就越高。但該種優化思路的問題在于，如果P設置過小，依然會產生較高延時；如果P設置過大，則計算機節點會很快到達性能瓶頸，無法再對外提供數據訪問能力。

發明內容

為克服上述現有的分布式系統中數據寫方法網絡延時長或易達到性能瓶頸的問題或者至少部分地解決上述問題，本發明實施例提供一種分布式系統中的數據寫方法、服務器及客戶端。

根據本發明實施例的第一方面，提供一種分布式系統中數據寫方法，包括：

在預設等待時間周期內，待寫數據的主副本所在計算機節點接收客戶端以預先獲取的速度發送的待寫數據的寫請求，并將各所述寫請求放入等待隊列中；其中，將所述待寫數據的任一副本作為所述待寫數據的主副本；

經過所述預設等待時間周期后，所述主副本所在計算機節點基于兩階段提交協議將所述等待隊列中的寫請求批量完成，并根據所述主副本所在計算機節點處理各所述寫請求時的性能狀態，判斷所述主副本所在計算機節點是否已達到性能瓶頸；

將各所述寫請求對應的判斷結果發送給所述客戶端，以供所述客戶端根據各所述寫請求對應的判斷結果調整所述速度，以最近調整的所述速度向所述主副本所在計算機節點發送寫請求。

根據本發明實施例的第二方面，提供一種分布式系統中數據寫方法，包括：

按照預先獲取的速度將待寫數據的寫請求發送到待寫數據的主副本所在計算機節點；其中，將所述待寫數據的任一副本作為所述待寫數據的主副本；

接收所述主副本所在計算機節點返回的各所述寫請求對應的判斷結果，根據各所述寫請求對應的判斷結果調整所述速度；其中，所述判斷結果為所述主副本所在計算機節點在處理各所述寫請求時已達到性能瓶頸或未達到性能瓶頸，所述判斷結果根據所述主副本所在計算機節點處理各所述寫請求時的性能狀態獲取；

按照最近調整的所述速度向所述主副本所在計算機節點發送寫請求。