[發明專利]一種基于分布式列存儲的時間序列數據存儲方法

在審

• 申請號: 201410143604.1
• 申請日: 2014-04-11
• 公開（公告）號: CN104035956A
• 公開（公告）日: 2014-09-10
• 發明（設計）人: 范振華;趙京虎;季勝鵬;王春毅;袁軍
• 申請（專利權）人: 江蘇瑞中數據股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 南京知識律師事務所 32207
• 代理人: 汪旭東

技術領域

本發明屬于數據庫技術領域，更準確地說，本發明涉及一種基于分布式列存儲的時間序列數據存儲方法。

背景技術

隨著工業化、信息化“兩化融合”建設的不斷深入，各個行業都面臨著數據的爆發式增長，數據處理壓力越來越大。從國家電網的視角出發，隨著國家電網的高速發展，信息化技術在國家電網各種業務中的廣泛而深入的應用，智能電網的推廣及普及。電力系統各個業務系統的數據出現了爆發式的增長，其中時間序列的增長速度尤為明顯。傳統的時間序列數據庫，無論在處理的數據量上還是響應速度上，已經越來越無法滿足現有業務需要，這一點在各個網省公司的用電信息采集中，體現的尤為明顯。與此同時，隨著國內外互聯網業務的快速發展，大數據及云計算的發展及廣泛應用，分布式的列存儲技術成為了處理海量數據中的首要重要技術，并且給與我們很多啟示。

在電網業務中，時間序列數據，作為一種重要的非結構化的數據類型，在營銷、調度、運監、生產等多種場景有著廣泛而深入的應用。在傳統應用中，時間序列數據往往被抽象建立為結構化的數據模型，而存入關系型數據庫。而關系型數據庫的行列模式，在存儲不同采樣周期的時間序列數據時，會造成存儲空間的極大浪費。另一方面，隨著海量數據的增加，傳統的關系型數據庫往往無法應對，使得查詢效率劇降，從而無法滿足業務應用場景的需求。另外有很多廠家采用四元組的形式，使用B+樹的數據結構，直接存入文件系統。這種方式具有節省存儲空間，查詢直接，效率較高的特點。但同時存在后期擴展困難，不具備聚合計算等數據庫常用功能，而且在處理海量時間序列數據上存在很多不足。綜合來看，這兩種方式不論在理論還是實際應用，都存在著很大的局限性，制約了針對時間序列數據的業務應用的進一步發展。采用分布式列存儲數據庫，對時間序列數據進行建模，使用該存儲模型在分布式列存儲上進行時間序列數據的存儲，可以在很大程度上解決這些制約和突破這些局限。

隨著新興的移動互聯網技術的推進，傳統企業也在不斷的發展與進步，共通的一點就是，數據作為一種重要的資源和財富，已經越來越多的受到各方面企業的重視。而且隨著各個企業中監測和控制對象的不斷復雜化，數據量的爆炸式增長，不同應用在對各種數據的使用及可利用價值的認識不斷深入，對海量數據如何高效存儲，如何便利的訪問，以及對訪問的效率及響應速度的要求也在不斷提高。因此對數據的高效存儲，快速檢索，以及各種分析處理能力提出了更高要求。本發明正是為了達到高效存儲以及快速的檢索時間序列數據而開發實現的。

發明內容

本發明的目的是：提供一種基于分布式列存儲的時間序列數據存儲方法，使時間序列數據能夠適應分布式列存儲的存儲方式，發揮分布式列存儲的優勢。該方法能夠保證時間序列數據在分布式列存儲上的高效存儲和快速檢索。

具體地說，本發明是采用以下的技術方案來實現的，包括下列步驟：

1）使用測點數據表存儲測點記錄數據，所述測點數據表由行鍵和列組成的稀疏表構成，其中，行鍵由特征點、時間戳、標簽三個部分組成，特征點用于標識測點的名稱，時間戳用于標識基準時間值，標簽用于表示特征點的屬性，每個行鍵中的標簽數量為一個或多個，每個標簽由一個或多個鍵值對組成，鍵值對中的鍵用于標識測點的屬性，鍵值對中的值用于標識測點的屬性值；列由子列組成，每個子列用于存儲相應于行鍵中所記載的基準時間的偏移量的記錄值，子列的數量由預先設置的最大偏移量決定；

使用名稱映射表存儲特征點的名稱和標簽鍵值對的名稱，在名稱映射表使用固定長度的名稱映射值對應相應的特征點的名稱和標簽鍵值對的名稱；

使用測點信息表存儲各測點的信息，存儲方式采用標準的分布式數據存儲方式；

2）寫入數據時，在分布式列存儲數據庫環境中，先根據各條測點記錄數據獲得相應的特征點的名稱和標簽鍵值對的名稱，并將特征點的名稱和標簽鍵值對的名稱存儲在名稱映射表中；?

然后，根據各條測點記錄數據的特征點名稱的名稱映射值、基準時間、標簽鍵值對名稱的名稱映射值和相應值生成相應的行鍵值，并根據各條測點記錄數據的偏移量將各條測點記錄數據的行鍵值和記錄值分別存儲在測點數據表中相應的行鍵和與該行鍵相應偏移量相對的子列中。

上述技術方案的進一步特征在于，所述列采用采用可變長存儲。

上述技術方案的進一步特征在于，所述名稱映射表采用雙向映射，既能通過特征點的名稱或標簽鍵值對的名稱檢索相應名稱映射值，也能通過名稱映射值檢索相應的特征點的名稱或標簽鍵值對的名稱。

上述技術方案的進一步特征在于，所述步驟2）中，當測點數據表中的某一行記錄存儲滿時，再開啟新的一行。