[發明專利]用于時序數據修復的多版本存儲、查詢方法及電子設備和程序產品

在審

• 申請號: 202310541821.5
• 申請日: 2023-05-15
• 公開（公告）號: CN116467112A
• 公開（公告）日: 2023-07-21
• 發明（設計）人: 何震瀛;王曉陽;韓曉宇
• 申請（專利權）人: 復旦大學
• 主分類號: G06F11/07
• 分類號: G06F11/07;G06F16/21;G06F16/9537
• 代理公司: 上海伯瑞杰知識產權代理有限公司 31227
• 代理人: 孟旭彤

本發明公開了一種用于時序數據修復的多版本存儲方法，對獲得的時序數據，采用多個修復策略或者算法進行修復，獲得多個對應的修復時序數據版本，以差量存儲方式存儲所述修復數據，將所述多個版本的修復數據的冗余部分進行合并。所述差量存儲方式是指，將修復后的時序數據，以修復前的原始時序數據，以及由對應的修復操作指令組成的差量文件進行表示，則所述多版本修復時序數據則由一條原始時序數據及多份差量文件組成。

技術領域

本發明屬于數據處理技術領域，特別涉及一種用于時序數據修復的多版本存儲、查詢方法及電子設備和程序產品。

背景技術

近年來，隨著數字化浪潮的不斷深入，時序數據已經成為各個領域不可或缺的數據類型之一。時序數據可以描述一系列隨時間變化的數據點，包括物聯網設備的傳感器數據、金融市場的股票交易數據等。而在制造業數字化網絡化智能化的進程中，時序數據的應用更是得到了廣泛關注。通過對時序數據的分析和預測，可以更好地優化生產流程、提高效率和降低成本。

在工業互聯網中，采集到的時序數據常常被用來監測和預測設備、機器或系統的運行狀態、性能和健康狀況，通過分析時序數據，可以更好地完成故障報警與診斷、預測維護、優化生產和節能減排等工作。由于上述工作均依賴于采集到的時序數據，因此，這些工作的可靠性很大程度上依賴于時序數據的質量。

然而在工業互聯網以及工業制造中，物理傳感器存在著不可避免的誤差和噪聲，這可能導致采集到的時序數據存在著不準確或缺失的情況，這會影響到對時序數據分析的結果，從而對工業互聯網中工作的開展帶來了阻礙。

發明內容

本申請的目的在于，面對低質量時序數據進行修復后的多版本場景，設計了一種精簡高效的存儲結構，并在該存儲結構上實現了高效高可靠查詢處理。

本發明實施例之一，一種高效存儲下多版本修復的低質量時序數據的高可靠查詢方法。在對低質量時序數據進行查詢處理時，先在低質量時序數據上采用多種修復策略進行修復，得到多個版本，增強其可靠性。同時借助差量存儲的思想對多版本的時序數據進行精簡存儲，消除其中的冗余部分，提高存儲效率。在時序數據上進行查詢時，并行處理所有版本的時序數據。處理時使用有限狀態機進行并行讀取，在過程中標記重復子序列，合并其帶來的重復計算，優化高可靠查詢處理效率。最后獲得不同修復策略下該低質量時序數據的查詢處理結果，實現了高效存儲下多版本修復的低質量時序數據的高可靠查詢處理技術，為工業實際場景提供了新的解決思路。

附圖說明

通過參考附圖閱讀下文的詳細描述，本發明示例性實施方式的上述以及其他目的、特征和優點將變得易于理解。在附圖中，以示例性而非限制性的方式示出了本發明的若干實施方式，其中：

圖1根據本發明實施例之一的多版本修復的低質量時序數據高效存儲示意圖。

圖2根據本發明實施例之一的經過修復操作的原始時序數據及修復結果示意圖。

圖3根據本發明實施例之一的有限狀態機讀取狀態示意圖。

具體實施方式

為了獲得正確的結論，在分析和預測時序數據之前，必須首先關注時序數據的數據質量。數據質量包括數據的有效性、完整性和一致性等方面。

在實際操作時，一種簡單的方式是，直接丟棄低質量的數據。例如，受到干擾明顯偏離于正常范圍內的數據，或者是因丟失導致不完整的數據，都可以直接丟棄。對于多數場景，直接丟棄可以有效提高效率，但是對于故障報警等部分場景，這可能導致故障漏報的發生，進而給工業生產帶來巨大的隱患。