[發明專利]一種時間序列數據的處理方法及裝置

在審

• 申請號: 202011435315.0
• 申請日: 2020-12-10
• 公開（公告）號: CN112527862A
• 公開（公告）日: 2021-03-19
• 發明（設計）人: 丁斌;邢志坤;袁博;劉廣輝;王帆;趙樹軍;唐寶鋒;李如鋒;李振偉;連浩然;閆浩然;張寧;孟斌;趙路新;楊博濤;劉瑞麟;劉杰;張海濤
• 申請（專利權）人: 國網河北省電力有限公司雄安新區供電公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06F16/22
• 代理公司: 廣州德科知識產權代理有限公司 44381
• 代理人: 萬振雄;林翠

本發明實施例公開了一種時間序列數據的處理方法及裝置，該方法包括：獲取時間序列數據；從時間序列數據中提取時間信息，將時間信息對應的原始時間格式轉換成預設時間格式；提取時間序列數據所攜帶的應用程序信息；判斷是否存儲有與用程序信息匹配的自定義解析規則；若存在，根據自定義解析規則從時間序列數據提取關鍵字段和關鍵字段對應的字段值，獲得字段值對；若不存在，根據內置的正則表達式規則從時間序列數據提取關鍵字段和關鍵字段對應的字段值，獲得字段值對；將轉換成預設時間格式的時間信息與字段值對關聯存儲；實現將非結構化數據中的字段提取并轉為統一格式，便于后續的查詢統計，起到節省計算空間和查詢時間的目的。

技術領域

本發明涉及數據處理技術領域，具體涉及一種時間序列數據的處理方法及裝置。

背景技術

隨著信息技術的快速發展，人們的社會活動及各種經濟活動與大數據更加密切相關，如企業在互聯網技術(Internet Technology，IT)監控、系統運維時產生的大量數據，氣溫、工業傳感器數據，各種交易系統(如證券交易系統、電子商務交易系統等)產生的海量交易數據等，這些大數據往往具有較高的商業價值，需要被用于分析，但是，由于數據的數據格式不盡相同，很難被直接拿來分析利用。

時間序列數據是大數據中常見的數據形式，是一種包含有時間戳信息，數據不一定遵循標準的數據結構(如模式定義規范的行和列)的非結構化數據，在分析利用之前，需要將時間序列數據從非結構化數據轉換成為結構化數據。其中，時間序列數據以字段(field)為數據單位，不同的時間序列數據對應的非結構化數據格式不盡相同，而且時間序列數據的字段的種類和格式也多種多樣。目前，市面上比較常見的將非結構化數據轉換成結構化數據的方法往往都是針對某一種數據格式，難以將數據格式多樣化的時間序列數據轉換成統一數據格式的結構化數據?？梢?，現有的數據格式轉換方法很難將時間序列數據轉換成統一數據格式的結構化數據。

發明內容

本發明實施例公開了一種時間序列數據的處理方法及裝置，用于將數據格式多樣化的時間序列數據轉換成統一數據格式的結構化數據。

本發明實施例第一方面公開了一種時間序列數據的處理方法，可包括：

獲取時間序列數據；

從所述時間序列數據中提取時間信息，將所述時間信息對應的原始時間格式轉換成預設時間格式；

提取所述時間序列數據所攜帶的應用程序信息；

判斷是否存儲有與所述應用程序信息匹配的自定義解析規則；

若存在所述自定義解析規則，根據所述自定義解析規則從所述時間序列數據提取關鍵字段和所述關鍵字段對應的字段值，獲得字段值對；

若不存在所述自定義解析規則，根據內置的正則表達式規則從所述時間序列數據提取所述關鍵字段和所述關鍵字段對應的字段值，獲得所述字段值對；

將轉換成所述預設時間格式的時間信息與所述字段值對關聯存儲。

作為一種可選的實施方式，在本發明實施例第一方面中，所述若存在所述自定義解析規則，根據所述自定義解析規則從所述時間序列數據提取關鍵字段和所述關鍵字段對應的字段值，獲得字段值對，包括：

若存在所述自定義解析規則，根據所述自定義解析規則確定所述時間序列數據中的字段與所述字段對應的字段值之間的第一分隔符、以及所述字段之間的第二分隔符；

以所述第一分隔符和所述第二分隔符為依據，從確定所述第一分隔符和所述第二分隔符后的時間序列數據中提取關鍵字段和所述關鍵字段對應的字段值，根據所述關鍵字段和所述關鍵字段對應的字段值構建得到字段值對；

所述若不存在所述自定義解析規則，根據內置的正則表達式規則從所述時間序列數據提取所述關鍵字段和所述關鍵字段對應的字段值，獲得所述字段值對，包括：