[發明專利]一種數據節點的分配方法及系統

有效

• 申請號: 201410362891.5
• 申請日: 2014-07-28
• 公開（公告）號: CN104967638A
• 公開（公告）日: 2015-10-07
• 發明（設計）人: 翁健;許焰;周明偉;王亮;舒添翼;陳偉;張興明
• 申請（專利權）人: 浙江大華技術股份有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 黃志華

技術領域

本發明涉及云存儲技術領域，尤其涉及一種數據節點的分配方法及系統。

背景技術

分布式存儲系統作為一種商業系統，核心是管理海量存儲資源，提供高速、穩定、線性擴展的服務。分布式存儲系統常用的負載分配方法主要是節點信息權重法，節點信息權重法的實現流程如下：

通過實時采集各個數據節點的負載信息(中央處理器CPU負載，內存負載，網絡輸入輸出負載)，通過一定的權重算法，例如：負載load＝x*A+y*B+z*C，其中A為CPU的當前負載，B為當前內存的當前負載，C為當前網絡輸入輸出的當前負載，x、y和z為權重因子，且x+y+z＝1；通過該計算方式計算出各個數據節點的負載信息，選出負載最輕的多個數據節點分配出去。

目前，節點信息權重法被作為分布式存儲系統中的一種主流的動態負載分配方式，但該方法也存在一些不足：

分配方式取決于節點負載，對于新加入的數據節點，瞬間會被壓到高負載，在后面的所有時間，后加入的節點和先加入的節點是一致對待的，而先加入的節點已經被使用一段時間，已經占有一定的磁盤容量，后面加入的節點和原有節點一致對待，導致先加入的節點容量始終大于后加入的節點的容量，因此容量一直是不均衡的，這對于需要快速達到容量均衡的分布式存儲系統來說是不能接受的。

因此，現有技術中，如何快速協調數據節點的容量和負載一直是分布式存儲系統的設計難點。

發明內容

本發明實施例提供了數據節點的分配方法，用以在云存儲系統中進行數據節點分配時，實現快速的達到容量均衡。

本發明實施例提供的一種數據節點的分配方法，包括：

接收至少一個數據節點上報的心跳信息，其中每一數據節點的心跳信息包括該數據節點的標識信息和負載信息；

根據每一數據節點的心跳信息，更新預先建立的可用隊列的數據節點的負載信息和不可用隊列的數據節點的負載信息；

當滿足預設條件時，根據當前可用隊列的每一數據節點的負載信息，確定該可用隊列的負載列表和剩余容量列表；根據當前不可用隊列的每一數據節點的負載信息，確定該不可用隊列的負載列表；

當可用隊列中負載最大的數據節點的負載大于不可用隊列中負載最小的數據節點的負載時，將可用隊列中剩余容量最小的數據節點移入不可用隊列，將不可用隊列中負載最小的數據節點移入可用隊列；

當接收到客戶端發送的申請數據節點的請求時，在當前可用隊列中為該客戶端分配數據節點。

需要說明的是，當接收到客戶端發送的申請數據節點的請求時，在當前可用隊列中為該客戶端分配數據節點，是指元數據中心接收到客戶端發送的申請數據節點的請求時，就在當前的可用隊列中為該客戶端分配數據節點。該過程是隨時都可能發生的，不受上述步驟的順序的限制。

采用本發明實施例提供的上述方法，采用預先建立的可用隊列和不可用隊列，有利于數據節點的平滑分配，提供更為穩定的吞吐量，再將可用隊列中剩余容量最小的數據節點移入不可用隊列，將不可用隊列中負載最小的數據節點移入可用隊列，從而能夠實現快速的達到容量均衡。

較佳的，所述根據每一數據節點的心跳信息，更新預先建立的可用隊列的數據節點的負載信息和不可用隊列的數據節點的負載信息，包括：

根據每一數據節點的標識信息，判斷該數據節點是否屬于預先建立的可用隊列；

若該數據節點不屬于可用隊列，則判斷該數據節點是否屬于預先建立的不可用隊列；

若該數據節點屬于可用隊列，則根據該數據節點的負載信息更新可用隊列中該數據節點的負載信息；

若該數據節點不屬于可用隊列也不屬于不可用隊列，則將該數據節點加入可用隊列中，并更新可用隊列中該數據節點的負載信息；

若該數據節點屬于不可用隊列，則根據該數據節點的負載信息更新不可用隊列中該數據節點的負載信息。

在本發明中，當接收到一個新的數據節點的心跳信息時，由于該數據節點是新上線的，因此將該數據節點默認為低負荷，而將其加入可用隊列。

較佳的，

在更新預先建立可用隊列的數據節點的負載信息和不可用隊列的數據節點的負載信息之后，該方法還包括：

根據當前可用隊列的每一數據節點的負載信息和不可用隊列的每一數據節點的負載信息，更新可用隊列的數據節點的數量占當前數據節點總數的比例；

所述當滿足預設條件時，根據當前可用隊列的每一數據節點的負載信息，確定該可用隊列的負載列表和剩余容量列表；根據當前不可用隊列的每一數據節點的負載信息，確定該不可用隊列的負載列表，包括：