[發明專利]用于分布式數據存儲系統的數據管理方法、設備和系統

無效

• 申請號: 201210417356.6
• 申請日: 2012-10-26
• 公開（公告）號: CN102932440A
• 公開（公告）日: 2013-02-13
• 發明（設計）人: 桂勇哲;陳超;代兵;朱超;王超
• 申請（專利權）人: 北京奇虎科技有限公司;奇智軟件（北京）有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 北京市德權律師事務所 11302
• 代理人: 劉杰

技術領域

本發明涉及數據存儲技術領域，具體涉及一種用于分布式數據存儲系統的數據管理設備及方法，以及一種用于分布式數據存儲的數據管理系統。

背景技術

目前數據庫的種類很多，比較流行的一種是基于分布式文件存儲的數據庫，所謂基于分布式文件存儲的數據庫，主要是指為了保證數據的可靠性和可擴展性，在多個數據服務器上分別存儲數據，將多個數據服務器共同看成一個完整的數據庫，共同完成數據的寫入和讀取。因為數據庫的具體形式有很多，因此基于分布式文件存儲的數據庫也有很多。

下面僅以常用的一種基于分布式文件存儲的數據庫MongoDB為例進行說明。MongoDB（Data?Base，數據庫）是介于關系數據庫和非關系數據庫之間的產品，是非關系數據庫當中功能最豐富，最像關系數據庫的。因此，在很多涉及到數據庫的業務都使用了MongoDB。

在MongoDB中本身有一個角色稱作Mongos，負責接收所有客戶端的數據訪問請求，還有一個角色稱作Mongod，負責保存實際的數據。為了數據可靠性，同一份數據會保存到多個Mongod服務器（即數據服務器的一種）上，多個Mongod稱作一個副本集replicaset，彼此之間保證數據一致。

當web服務器獲取數據時，向mongos發起請求，mongos會在replicaset的多個mongod服務器中，隨機選取一臺mongod服務器讀取數據，然后將數據返回給web服務器。在現有的技術方案中，采用的是隨機選擇的方式，即所有web服務器獲取數據的請求被均勻的分散到所有mongod服務器上。在其他基于分布式文件存儲的數據庫中，也與MongoDB類似，多是采用隨機方式選取一臺數據服務器讀取數據。

上述這種隨機選擇一臺數據服務器讀取數據的方式，缺少靈活實用性，尤其是當數據服務器數量較多、部署環境較復雜時，隨機選擇的方式更是容易導致從數據服務器讀取數據的效率較低。

發明內容

鑒于上述問題，提出了本發明以便提供一種克服上述問題或者至少部分地解決上述問題的用于分布式數據存儲系統的數據管理方法、設備和系統。

依據本發明的一個方面，提供了一種用于分布式數據存儲系統的數據管理設備，該分布式數據存儲系統包括多個數據服務器，該數據管理設備包括：監控器，被配置為至少獲知多個數據服務器各自的負載狀態信息和網絡延遲信息；數據接口，被配置為接收來自數據請求方的數據請求，并將與數據請求對應的被請求數據返回至數據請求方；選擇器，被配置為至少基于監控器所獲知的多個數據服務器各自的負載狀態信息和網絡延遲信息，選擇多個數據服務器之一來處理數據請求，其中多個數據服務器均存儲數據請求對應的被請求數據；以及數據讀取器，被配置為從選擇器所選擇的數據服務器讀取被請求數據，并將被請求數據發送給所述數據接口。

可選的，監控器包括：檢測模塊，被配置為向多個數據服務器分別發送查詢請求，以及接收多個數據服務器各自返回的響應數據，響應數據中至少包括對應的數據服務器的負載狀態信息；延遲模塊，被配置為根據所述多個數據服務器各自對應的查詢請求的發送時間和響應數據的接收時間，獲得多個數據服務器各自的網絡延遲信息。

可選的，如果數據讀取器從選擇器選擇的數據服務器讀取被請求數據失敗，則選擇器還根據多個數據服務器中的其他數據服務器各自的負載狀態信息和網絡延遲信息，選擇其他數據服務器當中的另一個數據服務器來處理數據請求；以及數據讀取器還從另一個數據服務器讀取與數據請求對應的被請求數據。

可選的，選擇器包括：第一選擇模塊，被配置為至少基于監控器所獲知的多個數據服務器各自的負載狀態信息和預設的負載狀態允許條件，選擇滿足負載狀態允許條件的第一數據服務器集合；在第一數據服務器集合中，根據其中各數據服務器的網絡延遲信息，選擇網絡延遲最低的數據服務器來處理所述數據請求。

可選的，選擇器包括：第二選擇模塊，被配置為至少基于監控器所獲知的多個數據服務器各自的網絡延遲信息和預設的網絡延遲允許條件，選擇滿足網絡延遲允許條件的第二數據服務器集合；在第二數據服務器集合中，根據其中各數據服務器的負載狀態信息，選擇負載最低的數據服務器處理所述數據請求。

可選的，數據服務器的負載狀態信息包括下述信息中的一種或多種：數據服務器現有的并發連接數；數據服務器的CPU負載指標；數據服務器的磁盤負載指標。