[發明專利]數據復制方法及數據存儲系統

有效

• 申請號: 201310178066.5
• 申請日: 2013-05-13
• 公開（公告）號: CN103220367A
• 公開（公告）日: 2013-07-24
• 發明（設計）人: 羅學波
• 申請（專利權）人: 深圳市中博科創信息技術有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明實施例涉及計算機信息存儲技術領域，具體涉及一種數據復制方法以及采用該方法的存儲系統。

背景技術

計算機技術以及網絡通信技術的飛速發展，使得全球信息存儲量以每年超過30％的速度急劇增長。網絡存儲成為存儲技術領域的必然趨勢，而通過網絡在線播放媒體資訊成為了用戶的生活常態。其中，以對象存儲結構為基礎構建的大型分布式文件系統，能提供較強的并發數據處理能力，因此，元數據服務管理在大型分布式文件系統中顯得非常重要。

但是，傳統的元數據管理只是采用靜態元數據分割以及分布存儲，不能較好地實現負載的均衡，從而在高并發時出現用戶媒資內容播放不穩定的問題。

發明內容

有鑒于此，有必要提供一種數據復制方法及存儲系統，能夠解決媒資內容播放過程中高并發的問題，提高播放穩定性。

本發明實施例提供一種用于存儲系統的數據復制方法，包括：

響應客戶端的讀取文件請求；

獲取待讀取文件的各文件塊編號及各文件塊在相應存儲節點的分布信息；

基于所述分布信息，并結合相應存儲節點的負載度信息，匹配負載度低于第一負載度閾值的多個存儲節點向所述客戶端傳送整套文件塊，所述整套文件塊組合而成為所述待讀取文件；

將已匹配的所述多個存儲節點上的各文件塊同步式或列隊式向客戶端傳輸。

優選地，該數據復制方法進一步包括：

獲取待讀取文件的熱度；

如果所述熱度大于第一熱度閾值，則將所述待讀取文件所屬的各文件塊在負載度低于第二負載度閾值的存儲節點上均制作副本或者隨機制作副本。

優選地，如果所述熱度小于第二熱度閾值，則將所述待讀取文件所屬的各文件塊的副本在各存儲節點刪除，而各文件塊僅留一份副本。

優選地，該數據復制方法進一步包括：

獲取待讀取文件的熱度，如果所述熱度大于第三熱度閾值，則增加所述待讀取文件的文件分塊數量，并將所述待讀取文件所屬的各文件塊在負載度低于第二負載度閾值的存儲節點上均制作副本或者隨機制作副本。

優選地，該數據復制方法進一步包括：

更新待讀取文件的屬性信息，所述屬性信息包括所述待讀取文件所屬的各文件塊的編號、各文件塊的副本數及各文件塊副本在相應存儲節點的分布信息。

優選地，所述獲取待讀取文件的熱度的步驟，具體包括：在單位時間內，每收到一次來自客戶端的讀取文件請求，則將所述讀取文件及其所屬文件塊的熱度增加1，而如果在單位時間內，未收到來自客戶端的讀取文件請求，則將所述讀取文件及其所屬文件塊的熱度減少1。

同時，本發明實施例還提供一種數據存儲系統，包括：

響應模塊，用于響應客戶端的讀取文件請求；

屬性獲取模塊，用于獲取待讀取文件的各文件塊編號及各文件塊在相應存儲節點的分布信息；

策略匹配模塊，用于基于所述分布信息，并結合相應存儲節點的負載度信息，匹配負載度低于第一負載度閾值的多個存儲節點向所述客戶端傳送整套文件塊，所述整套文件塊組合而成為所述待讀取文件；

傳送模塊，用于將已匹配的所述多個存儲節點上的各文件塊同步式或列隊式向客戶端傳輸。

優選地，該數據存儲系統進一步包括：

熱度獲取模塊，用于獲取待讀取文件的熱度；

副本擴增模塊，如果所述熱度大于第一熱度閾值，則將所述待讀取文件所屬的各文件塊在負載度低于第二負載度閾值的存儲節點上均制作副本或者隨機制作副本。

優選地，該數據存儲系統進一步包括：

副本刪除模塊，如果所述熱度小于第二熱度閾值，則將所述待讀取文件所屬的各文件塊的副本在各存儲節點刪除，而各文件塊僅留一份副本。

優選地，該數據存儲系統進一步包括：

屬性更新模塊，用于更新待讀取文件的屬性信息，所述屬性信息包括所述待讀取文件所屬的各文件塊的編號、各文件塊的副本數及各文件塊副本在相應存儲節點的分布信息。

采用上述方案，由于結合相應存儲節點的負載度信息，并將待讀取文件的各文件塊在相應存儲節點分布存儲，可以提高存儲系統高并發時的應對能力。此外，由于本發明實施例動態獲取待讀取文件的熱度，并同時匹配存儲節點的負載度動態調整各文件塊的分布存儲，實現了存儲節點的在線擴容，提升了媒資內容播放過程中的穩定性，進一步提升了用戶體驗。

附圖說明

圖1為本發明實施例用于存儲系統的數據復制方法的流程示意圖；