[發明專利]一種面向多業務應用的云存儲數據分布方法

有效

• 申請號: 201210290389.9
• 申請日: 2012-08-15
• 公開（公告）號: CN102857560A
• 公開（公告）日: 2013-01-02
• 發明（設計）人: 程耀東;何沛中;趙志峰;張衛;蔡偉;邸鵬;程永紅
• 申請（專利權）人: 華數傳媒網絡有限公司;北京華創智云科技有限責任公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 杭州裕陽專利事務所(普通合伙) 33221
• 代理人: 江助菊

技術領域

本發明涉及一種面向多業務應用的云存儲數據分布方法。

背景技術

云存儲系統底層由眾多設備甚至成千上萬的設備組成，不同系統的底層設備是不一樣的，數據分別以塊、對象以及文件的形式存儲在這些設備上。數據布局指的是將存儲系統的上層應用所產生的數據集合存放到設備集合上。數據布局策略主要解決如何選擇虛擬池中的設備存放數據的問題，利用有效的機制建立數據集合與設備集合的映射關系，同時需要滿足某些特定的目標。數據布局方法直接影響到I/O的訪問性能、存儲系統的可用性、可擴展性等方面。不同的目標驅動不同的數據布局策略，如：公平地分布數據可以獲得較大的I/O并行，提高I/O訪問性能；將數據的多個副本放置到不同的設備，其主要是為了容錯，提高性能可用性；在存儲規模變化時遷移最少的數據量可以滿足系統的可擴展性，自適應存儲規模的變化等。云存儲系統上支持各種業務，每種業務有不同的I/O特征，并且云存儲的底層存儲介質的異構造成的性能差異。如何使各種業務之間不相互影響，達到系統性能的最大化，是目前云存儲系統需要解決的難題之一。目前比較常用的布局方法包括循環分配方法、用戶可控布局算法等。

發明內容

本發明針對云存儲系統上各應用相互影響的問題，根據不同應用的I/O特點，制定不同的數據分布策略，對性能要求高的業務數據分布到配置高的存儲節點，反之，數據分布到配置低的存儲節點，從系統的可用性、可擴展性、I/O性能等方面，確保應用穩定運行，系統性能最大化。

為了解決上述技術問題，本發明的技術方案如下：

一種面向多業務應用的云存儲數據分布方法，包括如下步驟：

11）分析云存儲上運行的各種業務的I/O特征，并進行業務歸類;

12）根據不同的業務的I/O特征，建立不同的應用API，所述應用API為基于各種業務的I/O特征，提供基于應用的文件打開、讀、寫、關閉接口；

13）根據業務歸類結果，制定查詢數據布局表；

14)當客戶端發送數據操作請求時，根據操作請求的業務進行I/O特征分析并歸類，然后根據不同的業務的I/O特征，調用不同的應用API；

15）所述操作請求通過對應的應用API，根據查詢數據布局表從而訪問業務數據的存儲節點。

進一步的，所述分析云存儲上運行的各種業務的I/O特征包括：

I/O讀寫分布：通過監聽模塊，對每種I/O請求進行讀寫統計，并記錄相應的數據塊請求大小、I/O延遲和當前等待的I/O請求書信息；

I/O請求時間間隔：該特征反應了I/O請求的頻繁程度；

并行I/O任務數：并行I/O任務數反映了物理節點存儲系統忙閑的程度；

請求I/O塊大小分布：客戶端上運行的每種業務的I/O請求訪問的I/O塊大小分布。

進一步的，收集存儲節點的信息，該信息包括存儲節點的存儲水位、CPU、內存、網絡帶寬參數；根據參數權重，得出按性能高低排序的服務器序列，從而得出每個存儲節點負責的存儲數據的權重系數，用哈希函數分別計算存儲節點的ID值，將存儲節點的ID值映射到圓環形的地址空間上，相應的空間范圍根據權重系數進行劃分，得到云存儲系統的查詢數據布局表。

進一步的，客戶端根據每個業務的I/O特征，查詢數據布局表，將數據的哈希值映射到同一個圓環形的地址空間上，并沿著圓環地址空間順時針尋找存儲節點ID值，尋找到的首個節點確定為該數據對象的存放節點。

本發明的有益效果在于：采用了本發明的面向多種業務的數據布局方法，可以充分發揮各存儲節點的性能，達到真正的負載均衡，又可以保證系統的擴容時的自適應調整，數據遷移的數據量只有增加或減少節點上的數據。同時每種業務進行數據操作時只與對應的存儲節點進行通信，保證各業務之間相互獨立，穩定運行。經過測試，當涉及多種業務例如有BT業務、FTP業務等時，在不使用本方法之前，兩種業務之間相互影響，當客戶端的I/O有大量寫操作時，極大影響了客戶端的讀操作。本發明的使用，將各種業務的數據分布在各自的存儲節點上，確保各種業務之間相互獨立，極大的改善了用戶體驗。

附圖說明

圖1為面向多業務的云存儲數據布局方法的結構圖；

圖2為面向多業務的云存儲數據訪問流程圖。

具體實施方式

下面將結合附圖和具體實施例對本發明做進一步的說明。

結合圖1可知，本發明的主要模塊包括業務I/O特征歸類、全局的應用API、云存儲數據分布主要模塊。

業務I/O特征歸類