[發明專利]一種高效的數據存儲及查詢管理方法

在審

• 申請號: 202110698827.4
• 申請日: 2021-06-23
• 公開（公告）號: CN113535716A
• 公開（公告）日: 2021-10-22
• 發明（設計）人: 楊振偉;王陳淼;姜雪明;林楊平;谷陽;夏麗
• 申請（專利權）人: 浙江浙大中控信息技術有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/2455;G06F11/14
• 代理公司: 杭州杭誠專利事務所有限公司 33109
• 代理人: 劉正君

本發明公開了一種高效的數據存儲及查詢管理方法，包括數據存儲過程和數據查詢過程，其中，數據存儲過程包括：內存數據存儲單元將點位信息存儲到內存單向鏈表簇中的同時索引緩存數據單元將點位信息存儲到本地緩存文件中；過時數據清除單元定時清除過時的本地存檔文件，并刪除數據管理文件相關信息；數據查詢過程包括：數據查詢單元接收數據請求單元發送的數據請求生成查詢請求，按照內存數據緩存數據存檔數據的優先級的順序進行數據查詢，將查詢到的查詢數據返回至數據請求單元。本發明將數據以點位的形式按照時間序列同時進行內存、本地緩存文件和本地存檔文件存儲，提高了查詢速度，保證宕機前數據不丟失，提高了宕機重啟后的查詢速度。

技術領域

本發明涉及數據存儲及查詢技術領域，尤其涉及一種高效的數據存儲及查詢管理方法。

背景技術

傳統監控系統中，往往隨著點位歷史數據存儲量增多，點位數據查詢速度變慢甚至查詢失敗，嚴重影響用戶查詢體驗。另外，以往的監控系統中當存儲點位歷史數據量過大時，需要技術人員遠程或者出差進行清除過時數據；在手動清除過時數據過程中，對正在運行的監控系統存在干擾，甚至直接影響到監控系統數據存儲和查詢過程。同時，在傳統監控中，當平臺或系統宕機時，宕機前一段時間數據經常丟失和重啟后查詢速度變慢。

在某些監控系統中常常采用關系性數據庫對點位歷史數據管理，當關系性數據庫在表數據量比較大時，關系性數據庫操作(讀寫)性能也會大大降低。在項目運維中，經常遇到系統運行一段時間后，數據查詢速度明顯下降，很多情況就是由于存儲數據量大未能及時清理導致的。

發明內容

本發明主要解決現有的技術在監控系統中點位歷史數據查詢速度慢、需要定時清除過時數據、宕機恢復時數據丟失或查詢速度慢的問題；提供一種高效的數據存儲及查詢管理方法，將從監控系統中采集的源數據以點位的形式按照時間序列進行內存、本地緩存文件和本地存檔文件存儲，以便達到快速查詢點位歷史數據、定時清除過時數據、保證宕機前數據不丟失和宕機恢復后對點位歷史數據較快查詢。

本發明的上述技術問題主要是通過下述技術方案得以解決的：本發明包括數據存儲過程和數據查詢過程，其中，

所述數據存儲過程包括以下步驟：

A1、數據獲取單元將采集到源數據分別發送到內存數據存儲單元和索引緩存數據單元，同步執行步驟A2和步驟A3；

A2、內存數據存儲單元將點位信息存儲到內存單向鏈表簇中；

A3、索引緩存數據單元將點位信息存儲到本地緩存文件中；

A4、過時數據清除單元定時清除過時的本地存檔文件，并刪除數據管理文件相關信息；

所述數據查詢過程包括以下步驟：

B1、數據請求單元通過網絡協議向數據查詢單元發送數據請求；

B2、數據查詢單元接收數據請求生成查詢請求，按照內存數據緩存數據存檔數據的優先級的順序進行數據查詢，將查詢到的查詢數據返回至數據請求單元。

將從監控系統中采集的源數據以點位的形式按照時間序列同時進行內存、本地緩存文件和本地存檔文件存儲，以便達到快速查詢點位歷史數據、定時清除過時數據、保證宕機前數據不丟失和宕機恢復后對點位歷史數據較快查詢。

作為優選，所述的步驟A2具體包括：

A21、從頭遍歷內存中對應點位單向鏈表結點；

A22、計算當前系統時間time1與結點時間time0之差并記作ΔT0，若ΔT0T1，則刪除點位結點，并返回步驟A21，若ΔT0≤T1，則將time0記作Δtime0，終止遍歷操作，執行步驟A23；

A23、將新點位結點追加到單向鏈表尾部，并將尾部結點指針記作ΔP0；