[發明專利]一種時序數據處理方法

有效

• 申請號: 201811384936.3
• 申請日: 2018-11-20
• 公開（公告）號: CN109687875B
• 公開（公告）日: 2023-03-31
• 發明（設計）人: 張永飛;王純斌;李森林;王詩強
• 申請（專利權）人: 成都四方偉業軟件股份有限公司
• 主分類號: H03M7/30
• 分類號: H03M7/30
• 代理公司: 成都睿道專利代理事務所(普通合伙) 51217
• 代理人: 萬利

本發明公開了一種時序數據處理方法，時序數據包括輸出時間點和多個指標，方法包括以下步驟：提取輸出時間點的多指標數據塊；構建時間序列和指標序列的映射關系；提取指定時間窗口的時間序列和時間序列對應的多指標數據塊聚合為字節數據流；壓縮聚合后的字節數據流并輸出；本發明通過將一個時間點的多指標時序數據，使用同一時間實現多指標數據塊的聚合，從而減少多個時間存儲消耗；以字節流方式進行數據壓縮，避免指標類型的限制導致壓縮算法的受限，同時，對于位存儲的指標數據聚合也能有效減少指標數據的存儲消耗；通過本發明的方法有效提高了時序數據的壓縮處理效率，時序壓縮比以及存儲效率。

技術領域

本發明涉及時序數據處理技術領域，尤其是涉及一種時序數據處理方法。

背景技術

當前處于物聯時代，時序數據即時間序列數據，是統一指標按時間順序記錄的數據序列，對于時序數據的存儲要求也越來越高。首先，當前物聯網時代，在同一時間點上，產生大量指標數據也需要高效的處理。其次，處理后的時序數據也需要高效的壓縮比。

在時序數據傳遞過程中，為了減少網絡帶寬的消耗，時序數據會被編碼成一個時間點加n個指標時序數據方式傳遞到后端，為了減少網絡帶寬的消耗，時序數據會被編碼成一個時間點加n個指標時序數據方式傳遞到后端，n個指標的時序數據按常規的存儲方式會變成n個時間序列加n個指標數據序列，這種轉換后的數據存儲大小增加了一個n–1條記錄大小的存儲量，時序數據長期存儲，影響了時序數據的壓縮處理效率、時序壓縮比以及存儲效率。

發明內容

為了解決上述問題，本發明提出了一種時序數據處理方法，基于對時序數據同一時間點的多指標數據塊的聚合，采用字節流的壓縮方式，有效提高了時序數據的處理效率。

為了實現上述目的，本發明采用如下技術方案：

具體的，一種時序數據處理方法，其特征在于，所述時序數據包括輸出時間點和多個指標，所述方法包括以下步驟：

S1.提取輸出時間點對應的多指標數據塊；所述多指標數據塊包括多個指標數據；

S2.構建時間序列和指標序列的映射關系；

S3.提取指定時間窗口的時間序列和時間序列對應的多指標數據塊聚合為字節數據流，包括：

S31.提取所述時間序列中指定的時間窗口范圍內的時間序列；

S32.通過步驟S31中提取的時間序列獲取與所提取的時間序列中每個時間點對應的指標數據序列中的多指標數據塊；

S33.將步驟S32中獲取的多指標數據塊聚合為以第一指定長度為一個單元的指標字節數據塊，多個指標字節數據塊形成指標字節數據流；

S34.將步驟S31提取的時間序列中的每個時間點以第二指定長度為一個單元聚合為時間序列字節數據塊，多個時間序列字節數據塊形成時間序列字節數據流；

S4.壓縮聚合后的字節數據流并輸出。

進一步的，所述步驟S2還包括：

S21.按時間順序創建所述時間點的時間序列；

S22.提取所述多指標數據塊中的多個指標數據，將每個指標數據對應的時間點按時間順序創建每個指標數據的指標序列；

S23.將所述時間序列中的時間點與所述指標序列中相同的時間點對應，創建時間序列和指標序列的映射關系。

進一步的，所述第一指定長度為4字節或8字節。

進一步的，所述第二指定長度為8字節。

進一步的，將所述指標字節數據流和所述時間序列字節數據流分別壓縮并輸出。