[發明專利]磁盤選擇方法及裝置

有效

• 申請號: 201811364416.6
• 申請日: 2018-11-16
• 公開（公告）號: CN111198649B
• 公開（公告）日: 2023-07-21
• 發明（設計）人: 董澤偉
• 申請（專利權）人: 浙江宇視科技有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京超凡志成知識產權代理事務所(普通合伙) 11371
• 代理人: 張海洋

本申請實施例提供一種磁盤選擇方法及裝置。所述方法應用于分布式文件系統中的管理節點，每個數據節點都包括磁盤。所述方法包括：在接收到由客戶端發送的存儲請求后，根據每個數據節點在每個目標維度處的節點數據，判斷該數據節點在各目標維度處是第一種數據節點還是第二種數據節點，目標維度的數目為多個；根據每個目標維度中兩種數據節點各自的預設權重，計算得到每個數據節點的總權重，同一目標維度的兩種數據節點的預設權重之和為1；根據每個數據節點的總權重從多個數據節點中選出目標數據節點以存儲數據。由此，通過多維度考量進行磁盤選擇，有利于保證所有數據節點負載均衡。

技術領域

本申請涉及通信技術領域，具體而言，涉及一種磁盤選擇方法及裝置。

背景技術

HDFS(Hadoop?Distributed?Filesystem，Hadoop分布式文件系統)包括Client、namenode、datanode。為了保證數據存儲在所有datanode的磁盤中保持均衡，namenode一般采用兩種存儲策略。第一種為默認的Round?Robin?Vloume?Choosing?Policy(輪巡選擇策略)，即依次循環遍歷datanode進行數據存儲。第二種為Available?Space?VolumeChooseing?Policy(高可用空間選擇策略)，即根據磁盤剩余可用空間，選擇剩余空間較多的磁盤進行存儲。

然而在異構集群中，各datanode硬件之間存在差異，最主要的差異即是硬盤。異構集群中會同時存在機械硬盤和固態硬盤，而機械硬盤又包含了兩種接口：SAS接口和SATA接口(SAS盤數據傳輸速度快，MTBF(Mean?Time?Between?Failure，平均無故障時間)明顯高于SATA，有著更高的轉速，但是價格相對較貴)。并且，硬盤大小也存在明顯差異，最大和最小的硬盤容量相差一倍以上，而且部分datanode的硬盤之間又配置了邏輯卷組等。由此使得各datanode的硬盤存在明顯差別。

基于輪巡選擇策略，在異構集群環境中，會率先寫滿規格較低的磁盤，且無差別寫入本身IO(讀寫)性能就不一致的磁盤，會在數據落盤存儲時就出現負載不均衡的問題，這將導致集群性能急劇下降。而高可用空間選擇策略也僅是針對存儲空間這個單一維度進行考慮，在實際運行環境中，其他因素(比如，磁盤IO)也會影響整個集群的負載均衡。因此，基于上述兩種方式進行磁盤選擇，會在數據落盤存儲時就出現負載不均衡的問題，并不有利于保證整個集群環境的負載均衡。

發明內容

為了克服現有技術中的上述不足，本申請實施例的目的在于提供一種磁盤選擇方法及裝置，其能夠從多個維度考量每個數據節點的磁盤的性能，并基于根據實際情況配置的每個維度中不同性能對應的預設權重計算出每個數據節點磁盤的總權重，以基于此選擇出綜合性能最優的磁盤進行數據存儲，從而避免在數據落盤時就出現負載不均衡的問題。

第一方面，本申請實施例提供一種磁盤選擇方法，應用于分布式文件系統HDFS中與多個數據節點及客戶端通信連接的管理節點，每個數據節點都包括磁盤，所述方法包括：

在接收到由所述客戶端發送的存儲請求后，根據每個數據節點在每個目標維度處的節點數據，判斷該數據節點在各目標維度處是第一種數據節點還是第二種數據節點，其中，所述目標維度的數目為多個；

根據每個目標維度中兩種數據節點各自的預設權重，計算得到每個數據節點的總權重，其中，同一目標維度的兩種數據節點的預設權重之和為1；

根據每個數據節點的總權重從所述多個數據節點中選出目標數據節點以存儲數據。

第二方面，本申請實施例提供一種磁盤選擇裝置，應用于分布式文件系統HDFS中與多個數據節點及客戶端通信連接的管理節點，每個數據節點都包括磁盤，所述裝置包括：

分析模塊，用于在接收到由所述客戶端發送的存儲請求后，根據每個數據節點在每個目標維度處的節點數據，判斷該數據節點在各目標維度處是第一種數據節點還是第二種數據節點，其中，所述目標維度的數目為多個；