[發明專利]時序類型數據存取方法

有效

• 申請號: 201410321184.1
• 申請日: 2014-07-08
• 公開（公告）號: CN104077405B
• 公開（公告）日: 2018-06-08
• 發明（設計）人: 喻宜;呂志來;張學深;李海;齊國印;張東;王云鵬;劉永銀
• 申請（專利權）人: 國家電網公司;北京許繼電氣有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京立成智業專利代理事務所(普通合伙) 11310
• 代理人: 李想

本發明提供一種時序類型數據存取方法，其中，存儲方法包括：接收原始數據；判斷原始數據來源：對于實時數據，根據系統配置項的配置，判斷是否需要壓縮處理；對于歷史數據，則直接存放在主內存緩沖區中；當主內存緩沖區的內存使用達到預設的限值，切換內存緩沖區主備，即切換主內存緩沖區和備用內存緩沖區；將備用內存緩沖區數據按照測點分塊連續寫入相應日歷史文件尾部，并在寫入文件塊中記錄前一數據塊的地址信息；和更新日索引文件最后文件塊的地址。本發明的數據查詢處理采用高速緩存處理機制，它將最近訪問過的測點日數據緩存在內存中，從而提高了訪問過測點的日數據相關數據訪問接口效率。

技術領域

本發明涉及數據處理領域，尤其涉及一種時序(基于時間序列)類型數據高速存取方法。

背景技術

傳統的時序數據庫，底層數據處理引擎會有兩種處理方式，一種是采用常規的小型嵌入式關系數據庫引擎；另一種是采用基于鍵值對方式的NoSQL數據處理引擎。

其中，NoSQL數據存儲不需要固定的表結構，通常也不存在Join連接操作，在大數據存取上具備關系型數據庫無法比擬的性能優勢。

但這兩種數據處理引擎，其底層都是基于B+樹處理方式，而B+樹算法會出現隨著數據量的大量增加，樹深度會加大，頁面分裂更頻繁，從而出現寫入和讀取性能顯著下降，無法滿足高速存取的性能要求。

發明內容

本發明要解決的技術問題是，針對現有技術的不足，提供一種時序類型數據高速存取方法。

根據本發明一個方面，提供一種時序類型數據高速存儲方法，包括：接收原始數據；判斷原始數據來源：對于實時數據，根據系統配置項的配置，判斷是否需要壓縮處理，如果需要壓縮處理則采用數據過濾算法過濾掉冗余點并且將處理后的數據存放在主內存緩沖區中，如果不需要壓縮處理則直接存放在主內存緩沖區中；對于歷史數據，則直接存放在主內存緩沖區中；當主內存緩沖區的內存使用達到預設的限值，切換內存緩沖區主備，即切換主內存緩沖區和備用內存緩沖區；將備用內存緩沖區數據按照測點分塊連續寫入相應日歷史文件尾部，并在寫入文件塊中記錄前一數據塊的地址信息，從而形成一個反向測點數據塊鏈；和更新日索引文件最后文件塊的地址；其中，存放在主、備內存緩沖區中的數據為根據時間進行排序的數據。

可選的，時序類型數據高速存儲方法還包括：如果當所述主內存緩沖區已滿而所述備用內存緩沖區還沒有存盤完畢，則對主內存緩沖區進行擴容。

根據本發明另一個方面，提供一種時序類型數據高速讀取方法，包括：根據要獲取測點數據的日期和測點ID生成一個合成主鍵；和根據此主鍵在歷史數據緩存字典表中進行查詢，如果在歷史數據緩存字典表中存在此主鍵，則直接可以獲取日歷史數據序列值，然后可以根據查詢時間范圍從日歷史數據值中抽取相應查詢數據。

可選的，時序類型數據高速讀取方法還包括：如果在數據緩存表中不存在此主鍵，則從日歷史文件中來讀取歷史數據，包括：讀取日索引文件，獲取歷史數據最后文件塊地址；通過反向測點數據塊鏈將此ID的整日歷史數據塊全部讀取出來；根據時間進行排序，整理后的日歷史數據使用先前的合成主鍵放入到歷史數據緩存字典表中；和根據查詢時間范圍從日歷史數據序列值中抽取相應查詢數據。

與現有技術相比，本發明的數據查詢處理采用高速緩存處理機制，它將最近訪問過的測點日數據緩存在內存中，從而提高了訪問過測點的日數據相關數據訪問接口效率，包括歷史數據、斷面數據等的訪問。

附圖說明

圖1是根據本發明一個實施例提供的歷史數據文件結構示意圖；

圖2是根據本發明另一個實施例提供的數據存儲和讀取流程圖。

具體實施方式

為了使本發明的目的、技術方案及優點更加清楚明白，以下結合附圖，對本發明進一步詳細說明。應當理解，此處所描述的具體實施例僅僅用以解釋本發明，并不用于限定本發明。