[發明專利]實時數據存儲結構、數據寫入方法及數據讀取方法

有效

• 申請號: 201710041983.7
• 申請日: 2017-01-20
• 公開（公告）號: CN106970935B
• 公開（公告）日: 2021-02-02
• 發明（設計）人: 武愛斌;魏小慶;劉培慶;胡杰英;黃俊
• 申請（專利權）人: 朗坤智慧科技股份有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/2458
• 代理公司: 南京鐘山專利代理有限公司 32252
• 代理人: 戴朝榮

本發明提供了一種實時數據存儲結構。所述實時數據存儲結構包括包括：數據文件和與所述數據文件對應的索引文件，所述數據文件包括按照時間順序依次連續設置的n個記錄塊，每一所述記錄塊包括具有設定時間間隔內的實時數據，且每一所述記錄塊對應產生一個唯一標識，n為正整數；所述索引文件包括多個按時間順序組織的索引表，每一所述索引表按照時間順序對應記錄所述數據文件中最后一個所述記錄塊中實時數據的唯一標識。本發明還提供一種基于所述實時數據存儲結構的數據寫入方法和數據讀取方法。

技術領域

本發明屬于數據存儲技術領域，具體地涉及一種實時數據存儲結構、數據寫入方法及數據讀取方法。

背景技術

當前國內外主流產品一般都提供歷史存儲功能，能較長時間地保存、備份現場的過程數據。但由于控制現場的采集點多，采集時間周期短，因而要保存的歷史數據量非常大，根據實時數據的特點有效組織數據存儲結構可以在寫入和讀取性能上取得平衡。

實時數據一般由標簽點ID、數據、時間戳和質量碼等部分組成，這些數據都必須被持久化存儲。一般有兩種做法來存儲這些數據：

一、將上述所有數據打包成一個結構存入底層數據文件，并返回一個唯一標識關聯這條數據，然后將這個唯一標識保存起來，做成索引方便查詢；

二、將標簽點ID和時間戳組成關鍵字，數據和質量碼組成值形成一個鍵值對寫入底層數據文件。

第一種方法在數據文件層面實現簡單，只要不斷向文件順序寫入數據即可存儲數據，讀取文件時只要得到數據存儲時返回的唯一標識就可以讀取數據，讀取寫入都只需要一次磁盤尋址，但是要能夠讀取數據必須將唯一標識進行索引。

發明內容

本發明的目的在于針對現有技術的缺陷，提供一種實時數據存儲結構、數據寫入方法及數據讀取方法。

本發明的技術方案如下：一種實時數據存儲結構，包括：數據文件和與所述數據文件對應的索引文件，所述數據文件包括按照時間順序依次連續設置的n 個記錄塊，每一所述記錄塊包括具有設定時間間隔內的實時數據，且每一所述記錄塊對應產生一個唯一標識，n為正整數；所述索引文件包括多個按時間順序組織的索引表，每一所述索引表按照時間順序對應記錄所述數據文件中最后一個所述記錄塊中實時數據的唯一標識。

優選地，每一所述記錄塊的唯一標識包括所述實時數據在數據文件中的偏移量及自身的長度。

優選地，每一所述記錄塊還包括與所述實時數據對應設置的數據包頭；所述數據包頭包括標簽點id、數據部分開始時間、數據部分結束時間、及上一個記錄塊的唯一標識；所述標簽點id標識所述記錄塊的實時數據以辨識所述實時數據，所述數據部分開始時間和所述數據部分結束時間標識所述記錄塊的數據起止時間。

優選地，所述索引文件是按照所述標簽點id和所述實時數據的時間區分，并將所述唯一標識存入相應的索引id的時間段內。

優選地，每一所述索引表包括多個按照時間順序組織的索引項，每一所述索引項包括多個按時間順序組織的索引，每一所述索引存儲設定時間內最后一個所述記錄塊中實時數據的唯一標簽。

一種根據上述實時數據存儲結構的數據寫入方法，包括如下步驟：

將所述實時數據以記錄塊的形式按照時間順序添加到數據文件，并對每一所述記錄塊對應產生唯一標識；

將所述數據文件中最后一個所述記錄塊中實時數據的唯一標識存儲在所述索引表中，并按照時間順序組織所述索引表形成所述索引文件。

優選地，在將所述實時數據以記錄塊的形式按照時間順序添加到數據文件，并對每一所述記錄塊對應產生唯一標識步驟之前還包括步驟：

將獲取的緩存數據按照時間戳進行排序；