[發明專利]一種分布式系統及其數據操作方法

有效

• 申請號: 201110448281.3
• 申請日: 2011-12-28
• 公開（公告）號: CN102546782A
• 公開（公告）日: 2012-07-04
• 發明（設計）人: 趙健博;王志強
• 申請（專利權）人: 北京奇虎科技有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 北京市德權律師事務所 11302
• 代理人: 劉麗君

1.一種分布式系統，其特征在于，包括：

客戶端，用于向主節點發送數據操作請求；

主節點，用于響應于客戶端的請求獲取存儲節點列表，并將存儲節點列表發送給客戶端；

多個存儲節點，用于存儲客戶端所請求操作的數據；

多個計算節點，用于執行由主節點基于用戶的數據操作請求分配的計算任務；

其中，主節點在獲取存儲節點列表時，應用副本位置選擇策略，來選擇數據副本所對應的存儲節點；

所述副本位置選擇策略包括下述方式的至少一種：選擇容量負載小的存儲節點；選擇計算負載小的計算節點；以及選擇本地性差的存儲節點。

2.根據權利要求1所述的系統，其特征在于，所述主節點在獲取存儲節點列表時，基于主節點中保存的分布式系統的元數據信息來應用副本位置選擇策略。

3.根據權利要求2所述的系統，其特征在于，所述分布式系統的元數據信息包括存儲節點的狀態信息和/或計算節點的狀態信息。

4.根據權利要求1所述的系統，其特征在于，所述存儲節點列表包括至少一個副本位置信息。

5.根據權利要求4所述的系統，其特征在于，所述至少一個副本位置信息包括第一個副本位置信息，該第一個副本位置信息通過如下方式獲得：

首先判斷客戶端是否在集群中，如果不在集群中，則在全局范圍內應用副本位置選擇策略選擇一個存儲節點；如果在集群中，則選擇客戶端所在的存儲節點。

6.根據權利要求5所述的系統，其特征在于，在選擇客戶端所在的存儲節點之前，還考慮該存儲節點的容量負載，如果該存儲節點不合適，則應用副本位置選擇策略選擇和客戶端在同一個機架下的存儲節點。

7.根據權利要求5所述的系統，其特征在于，所述至少一個副本位置信息還包括第二個副本位置信息，該第二個副本位置信息通過如下方式獲得：

應用副本位置選擇策略選擇同第一個副本所在的存儲節點所在的不同機架上的存儲節點，如果選擇不出來，則在和第一個副本所在存儲節點所在的機架，應用副本位置選擇策略選擇一個存儲節點。

8.根據權利要求7所述的系統，其特征在于，所述至少一個副本位置信息還包括第三個副本位置信息，該第三個副本位置信息通過如下方式獲得：如果第一個副本所在的存儲節點和第二個副本所在的存儲節點在同一個機架上，則在第一個副本所在的存儲節點所在的不同機架上，應用副本位置選擇策略選擇一個存儲節點；否則，在和第二個副本所在的存儲節點所在的機架上應用副本位置選擇策略選擇一個存儲節點。

9.根據權利要求8所述的系統，其特征在于，所述至少一個副本位置信息還包括三個以上的副本位置信息，該三個以上的副本位置信息通過如下方式獲得：在全集群范圍內應用副本位置選擇策略選擇存儲節點。

10.根據權利要求1所述的系統，所述存儲節點和計算節點分開放置，或者以一對一的方式放置在一個機器中。

11.一種分布式系統的數據操作方法，其特征在于，包括：

客戶端向主節點發送數據操作的請求；

主節點響應于客戶端的請求獲取存儲節點列表，并將存儲節點列表發送給客戶端；

其中，主節點在獲取存儲節點列表時，應用副本位置選擇策略，來選擇數據副本所對應的存儲節點；

所述副本位置選擇策略包括下述方式的至少一種：選擇容量負載小的存儲節點；選擇計算負載小的計算節點；以及選擇本地性差的存儲節點。

12.根據權利要求11所述的方法，其特征在于，所述主節點在獲取存儲節點列表時，基于主節點中保存的分布式系統的元數據信息來應用副本位置選擇策略。

13.根據權利要求12所述的方法，其特征在于，所述分布式系統的元數據信息包括存儲節點的狀態信息和/或計算節點的狀態信息。

14.根據權利要求11所述的方法，其特征在于，所述存儲節點列表包括至少一個副本位置信息。

15.根據權利要求14所述的方法，其特征在于，所述至少一個副本位置信息包括第一個副本位置信息，該第一個副本位置信息通過如下方式獲得：

首先判斷客戶端是否在集群中，如果不在集群中，則在全局范圍內應用副本位置選擇策略選擇一個存儲節點；如果在集群中，則選擇客戶端所在的存儲節點。