[發明專利]應用于時序歷史數據庫的索引方法

有效

• 申請號: 201210413154.4
• 申請日: 2012-10-25
• 公開（公告）號: CN102890722A
• 公開（公告）日: 2013-01-23
• 發明（設計）人: 鄭曉露;陳靜
• 申請（專利權）人: 國家電網公司;江蘇瑞中數據股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 南京知識律師事務所 32207
• 代理人: 汪旭東

技術領域

????本發明涉及一種數據索引方法，特別是涉及時序歷史數據庫中的數據索引方法。

背景技術

隨著工業化、信息化“兩化融合”建設的不斷深入，工業自動化系統面臨的海量數據處理壓力越來越大，系統面對的采集點越來越多，系統一年的數據存儲規模將從目前的GB級轉向TB級甚至是PB級。如此海量的歷史數據，傳統的關系型數據庫無論是存儲和檢索都顯得捉襟見肘，很難滿足這些應用的需求。近年來，時序歷史數據庫的出現使得這些應用需求的實現成為可能。時序歷史數據庫是專門設計用來處理具有時間序列特性的數據庫管理系統，該系統用于對上述的海量數據進行存儲管理。在時序歷史數據庫系統中，索引方法的好壞直接影響著數據庫的存儲檢索速度，本發明正是實現一種高效率的索引方法。

經初步檢索，暫未發現有與本發明內容相關的專利條目。

發明內容

???為了能夠保證時序歷史數據庫數據的高效存儲和檢索，本發明提供了一種應用于時序歷史數據庫的索引方法，其采用的技術方案如下：

（1）建立索引：

時序歷史數據庫中的測點文件、索引文件和數據文件三種文件串聯，通過二元組結構形式的文件指針進行訪問；

對測點文件中的每個測點單獨建立索引，所述索引采用多叉樹的層級結構，根據測點的數量級以及歷史數據量的大小來決定具體樹的分叉數目以及層次；以時間點為關鍵字，索引節點的每個子指針指向下一級的索引節點，最頂層的索引節點為索引根節點，最下一層的索引節點為索引葉子節點，索引節點的每個時間點關鍵字左邊的子指針指向的下一級索引節點中的時間點關鍵字都小于此時間點關鍵字，同樣每個時間點關鍵字右邊的子指針指向的下一級索引節點中的時間點關鍵字都大于此時間點關鍵字；

索引葉子節點指向數據文件中的數據塊在數據文件中的存儲位置，所述索引葉子節點的每個子指針指向一個數據塊，所述索引葉子節點中的每個時間點關鍵字左邊的子指針指向的數據塊中數據的時間都小于此時間點關鍵字，同樣每個時間點關鍵字右邊的子指針指向的數據塊中數據的時間都大于此時間點關鍵字；

每個所述索引葉子節點指向的所有數據塊都有前指針和后指針，按照時間的順序和逆序構建成雙向鏈表，相鄰索引葉子節點中的首位數據塊也互相串聯；

（2）數據存儲：

采用內存映射文件的方式進行文件操作，歷史數據在寫入時，先將一定長度的文件內容映射到數據緩存中（該一次文件映射的長度根據數據庫中數據存儲或者檢索操作中包含的測點粒度來自行定義），然后在該數據緩存中填入數據塊，并將數據緩存中的內容和數據文件進行同步；

按照上述方式將索引節點內容寫入索引緩存中，索引節點的子指針指向所述數據塊，并將索引緩存中的內容和索引文件進行同步；

在寫入下一個數據塊和索引時，直接對緩存進行操作，直到映射到緩存中的文件空間用完，則進行下一次文件映射；?

循環以上流程；

（3）數據檢索：

在查詢某個測點的一段歷史數據時，根據查詢時間的起點查詢索引；查詢索引時，首先找到該測點索引的起點位置，然后進行內存映射文件操作，將文件中一定空間范圍內的所有索引節點映射到緩存中，通過查詢的起始時間點和索引中的時間點關鍵字來進行索引定位，若該索引節點非索引葉子節點，則繼續搜索子節點；

找到索引葉子節點之后，根據查詢時間段的起點定位該歷史數據的起始數據塊位置；通過同樣的內存映射文件方式讀取這個數據塊，然后利用數據塊之間的雙向鏈表一直向后遍歷，直到查詢到終止時間，中間不需要再去索引進行查詢。?

本發明方法通過以時間點為關鍵字建立多叉樹索引，讓索引能夠按照時間順序有序地存放在磁盤上索引文件中，時序歷史數據也能夠按照時間順序有序地存放在磁盤上數據文件中。在進行數據訪問時，通過批量的內存映射文件機制，減少文件訪問的頻率，保證時序歷史數據庫數據存儲和檢索的效率，并且對內存資源的消耗也較小。

附圖說明

圖1是時序歷史數據庫測點文件、索引文件、數據文件的訪問機制示意圖。

圖2是時序歷史數據庫索引結構圖。

圖3是本發明數據存儲流程示意圖。

圖4是本發明數據檢索流程示意圖。

圖5是內存文件映射示意圖。

具體實施方式

下面結合附圖和實施例對本發明作進一步詳細說明。