[發明專利]對分布式存儲系統中慢節點的檢測

有效

• 申請號: 201710005058.9
• 申請日: 2017-01-04
• 公開（公告）號: CN106878388B
• 公開（公告）日: 2019-12-03
• 發明（設計）人: 李志文;郭波
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;G06F3/06
• 代理公司: 11205 北京同立鈞成知識產權代理有限公司
• 代理人: 楊澤;劉芳<國際申請>=<國際公布>=<

本發明的目的是提供一種檢測分布式存儲系統中的慢節點的方法、設備、系統以及計算機程序產品。其中，當檢測到慢節點事件，客戶端向所述文件的各副本節點發送異步請求，所述副本節點為存儲有所述文件的副本的存儲節點；根據所述各副本節點的響應信息，從所述各副本節點中確定慢節點；向所述主節點通知所述慢節點，以由所述主節點將所述慢節點從所述副本節點列表中刪除；刷新所述文件的副本節點列表，以重新對其中一個副本節點中的文件副本執行數據寫入操作。與現有技術相比，本發明通過對分布式存儲系統中慢節點的探測及規避策略，使得分布式存儲系統在用戶的讀寫請求的耗時長尾顯著減少。

技術領域

本發明涉及分布式存儲系統技術領域，尤其涉及一種檢測分布式存儲系統中的慢節點的技術。

背景技術

在當前的分布式存儲系統中，隨著集群節點數的線性增加，出現慢節點的概率也會隨之增加。

例如，當出現以下情形時，分布式存儲系統可能出現慢節點：

由于機器硬件資源達到瓶頸，導致對應的處理程序資源不足從而處理請求變慢，出現的場景如：機器出現故障；機器本身硬件條件不統一；機器上混布的其它業務占用資源增多。

軟件的單機實例自己本身達到了瓶頸，從而導致處理能力不足，出現的場景如：分布到單實例的請求數目不均；軟件bug等。

集群的節點之間網絡出現割裂或者阻塞的情況。

對應到分布式存儲系統，在基于復制(Replication)的副本模式下，單個文件的數據在N個副本組成的管道(pipeline)中流動時，如果其中某個節點是慢節點，整個數據的寫入流程必然會受到影響。當用戶從分布式存儲讀取數據的時候，如果讀取的副本是慢節點或者客戶端到讀取副本之間網絡有問題，數據的讀取流程也會受到影響。

發明內容

本發明的目的是提供一種檢測分布式存儲系統中的慢節點的方法、設備、系統以及計算機程序產品。

根據本發明的一個方面，提供了一種檢測分布式存儲系統中的慢節點的方法，其中，所述分布式存儲系統包括主節點、多個存儲節點和一個或多個客戶端，其中，在所述客戶端，該方法包括以下步驟：

-當根據從所述主節點獲取的一文件的副本節點列表對其中一個副本節點中所述文件的副本執行數據寫入操作時檢測到慢節點事件，向所述文件的各副本節點發送異步請求，所述副本節點為存儲有所述文件的副本的存儲節點；

-根據所述各副本節點的響應信息，從所述各副本節點中確定慢節點；

-向所述主節點通知所述慢節點，以由所述主節點將所述慢節點從所述副本節點列表中刪除；

-刷新所述文件的副本節點列表，以重新對其中一個副本節點中的文件副本執行數據寫入操作。

根據本發明的一個方面，還提供了一種檢測分布式存儲系統中的慢節點的客戶端，其中，所述分布式存儲系統包括主節點、多個存儲節點和一個或多個所述客戶端，其中，所述客戶端包括：

用于當根據從所述主節點獲取的一文件的副本節點列表對其中一個副本節點中所述文件的副本執行數據寫入操作時檢測到慢節點事件，向所述文件的各副本節點發送異步請求的裝置，所述副本節點為存儲有所述文件的副本的存儲節點；

用于根據所述各副本節點的響應信息，從所述各副本節點中確定慢節點的裝置；

用于向所述主節點通知所述慢節點的裝置，以由所述主節點將所述慢節點從所述副本節點列表中刪除；

用于刷新所述文件的副本節點列表的裝置，以重新對其中一個副本節點中的文件副本執行數據寫入操作。