[發明專利]基于交錯時間分區的移動互聯網數據存儲系統及其方法

有效

• 申請號: 201310061064.8
• 申請日: 2013-02-27
• 公開（公告）號: CN103176750A
• 公開（公告）日: 2013-06-26
• 發明（設計）人: 張偉;廖天兵
• 申請（專利權）人: 武漢虹旭信息技術有限責任公司
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F12/02;G06F17/30;H04L29/08
• 代理公司: 武漢宇晨專利事務所 42001
• 代理人: 黃瑞棠

技術領域

本發明涉及移動互聯網海量業務的數據存儲領域，尤其涉及一種基于交錯時間分區的移動互聯網數據存儲系統及其方法。?

背景技術

隨著3G移動數據業務的迅猛發展和移動互聯網業務市場競爭的加劇，三大電信運營商都開始建設自己的移動互聯網數據存儲分析系統，通過存儲用戶的上網數據，分析用戶特征，以達到精確營銷的目的。而這類基于時間和業務類型維度的移動互聯網業務數據，在存儲和管理方面遇到的問題都是相似的，他們都不同程度的受到數據急劇增長和復雜多樣的業務類型所困擾，在移動互聯網數據存儲系統中，數據量通常為10TB以上（我們稱之為海量數據），存儲介質和應用數據類型的發展也很快。而在應用方面，移動互聯網業務分析系統一般都是以時間為粒度的各種應用類型的數據應用，比如要讀取2012年10月使用“天翼閱讀”業務的所有用戶的總次數、總流量和用戶分布等數據。?

在數據存儲技術方面，目前有兩種主流的存儲技術，一種是分布式存儲技術、另一種是集群存儲技術，而在移動互聯網數據存儲領域，多以分布式存儲技術為主。?

????具體地說：?

如圖5.1，是采用多個磁盤陣列（以下簡稱陣列）映射一個表空間的結構，其工作原理是當表空間耗盡的時候，依次從每個陣列中添加表空間文件，其優點是結構簡單，管理開銷小，數據表從長期來看會比較均勻地分布在每個磁盤陣列上，查詢大量數據的時候，會讀取多個磁盤陣列，查詢性能較好；缺點是在某個時間點，大量數據入庫，數據只會使用有效的某一個表空間文件，而只會使用其中的一個磁盤陣列，磁盤利用效率不高，會有部分磁盤長期處于空閑狀態，數據入庫效率較差，容易出現阻塞的情況；

如圖5.2，是采用每張移動互聯網海量數據表使用一個表空間，每個表空間都在單獨的陣列上，其工作原理是當某個表空間耗盡的時候，只需要從相應的磁盤陣列擴展表空間文件，其優點是每個磁盤陣列都承擔相應的業務數據，當所有業務數據需要入庫的時候，磁盤利用率較高，數據入庫效率較好；但缺點是當查詢每張海量表時，由于該海量表數據只存儲在某一個磁盤陣列上，別的磁盤處于空閑狀態，查詢效率低下。

發明內容

本發明的目的在于克服現有存儲技術存在的缺點和不足，提供一種基于交錯時間分區的移動互聯網數據存儲系統及其方法，以解決目前移動互聯網海量數據分布式存儲存儲系統中磁盤利用率和I/O能力不能有效兼顧的問題。?

實現本發明目的的技術方案是：?

設計一種具備高讀寫能力、可隨時擴充、易于管理的移動互聯網海量數據存儲系統來彌補傳統移動互聯網海量數據分布式存儲系統的缺點，它不但能夠更加有效的管理磁盤空間、支持無法預測的移動互聯網業務數據的增長，并且可以通過縮短單個任務的執行時間來大力提升移動互聯網海量數據存儲系統的I/O能力。

一、基于交錯時間分區的移動互聯網數據存儲系統?(簡稱系統)?

本系統包括分區管理單元、數據寫入單元、數據存儲單元和數據讀取單元；

分區管理單元、數據寫入單元和數據讀取單元分別和數據存儲單元連接，實現移動互聯網海量數據的磁盤管理、存儲和讀寫I/O；

所述數據存儲單元由第1數據存儲單元、第2數據存儲單元……第N數據存儲單元組成，

第1數據存儲單元由第1陣列、第1表空間和第1分區空間組成；

第2數據存儲單元由第2陣列、第2表空間和第2分區空間組成；

……

第N數據存儲單元由第N陣列、第N表空間和第N分區空間組成；

N為自然數，小于100。

二、基于交錯時間分區的移動互聯網數據存儲方法(簡稱方法)?

本方法包括以下步驟：

①配置好相關參數，存入系統的配置表中；

②分區管理單元讀取配置表信息，根據這些參數信息對分區、表空間進行分配，從而完成表空間、分區的初始化工作，隨著業務的進行，該單元持續對表空間、分區進行管理維護；

③數據寫入單元提供算法，將采集的海量數據依據相應的規則，導入相應的磁盤接口隊列，使數據最短時間內寫入數據庫的相關存儲位置；

該算法保證海量數據涌入的時候，每個磁盤陣列都處于高速工作狀態，提高整體陣列的吞吐效率。

④根據業務查詢規則，數據讀取單元提供讀取算法，從而計算出從哪些磁盤陣列中讀取數據，在最短時間內讀取數據庫中的數據反饋給用戶；?

該算法保證在查詢大量數據的時候，每個磁盤陣列都分擔相應的讀取壓力，從而提高整體陣列的吞吐效率；