[發明專利]基于時序數據的數據處理方法、裝置、電子設備及可讀存儲介質

有效

• 申請號: 202110753537.5
• 申請日: 2021-07-02
• 公開（公告）號: CN113360505B
• 公開（公告）日: 2023-09-26
• 發明（設計）人: 敖毅波;黃亞兵;陳陽;林開賢;鄧晟;沈志勇
• 申請（專利權）人: 招商局金融科技有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/245;G06F16/25
• 代理公司: 深圳市沃德知識產權代理事務所(普通合伙) 44347
• 代理人: 高杰;于志光

本發明涉及數據處理領域，揭露一種基于時序數據的數據處理方法，包括：對獲取到的時序數據執行數據結構化處理，得到結構化時序數據；在預構建的時序數據庫中創建數據表，并將所述結構化時序數據寫入所述數據表中；解析采集到的增量數據，得到所述增量數據的字段；提取所述數據表中的數據列字段，判斷所述數據表中的數據列字段與所述結構化增量數據的字段是否匹配；當所述數據列字段與所述增量數據的字段不匹配時，根據所述增量數據的字段對所述數據列字段執行增添操作，并將所述增量數據寫入至新增添的數據列。本發明還提出一種基于時序數據的數據處理裝置、設備以及存儲介質。本發明可以提高時序數據的一致性以及減少了時序數據存儲的失敗率。

技術領域

本發明涉及數據處理領域，尤其涉及一種基于時序數據的數據處理方法、裝置、電子設備及可讀存儲介質。

背景技術

隨著大數據時代的到來，時序數據的運用越來越多，如何讓時序數據在存儲之前保持一致性變得尤為重要，目前常見的對時序數據的數據處理通常只是簡單地將時序數據存儲至數據庫中，并不能保證存儲至所述數據庫中的時序數據是否一致，容易出現當用戶使用時序數據時出現錯誤并造成嚴重損失的情況。

發明內容

本發明提供一種基于時序數據的數據處理方法、裝置、電子設備及計算機可讀存儲介質，其主要目的在于提高時序數據的一致性以及減少了時序數據存儲的失敗率。

為實現上述目的，本發明提供的一種基于時序數據的數據處理方法，包括

獲取時序數據，并對所述時序數據執行數據結構化處理，得到結構化時序數據；

在預構建的時序數據庫中創建數據表，并將所述結構化時序數據寫入所述數據表中；

實時采集增量數據，將所述增量數據執行數據結構化處理，得到結構化增量數據，并解析所述結構化增量數據，得到所述結構化增量數據的字段；

提取所述數據表中的數據列字段，將所述數據表中的數據列字段與所述結構化增量數據的字段進行對比校驗，并判斷所述數據表中的數據列字段與所述結構化增量數據的字段是否匹配；

若所述數據表中的數據列字段與所述結構化增量數據的字段匹配，則將所述結構化增量數據寫入至所述數據表中對應的數據列中；

若所述數據表中的數據列字段與所述結構化增量數據的字段不匹配，則根據所述結構化增量數據的字段對所述數據表中的數據列字段執行增添操作，并將所述結構化增量數據寫入至所述數據表中對應的數據列。

可選地，所述根據所述結構化增量數據的字段對所述數據表中的數據列字段執行增添操作，包括：

獲取所述結構化增量數據的時間戳字段、維度列字段以及指標列字段；

基于所述結構化增量數據的時間戳字段、維度列字段以及指標列字段，利用預設的結構化查詢語言在所述數據表中中創建所述結構化增量數據對應的數據列字段。

可選地，所述判斷所述數據表中的數據列字段與所述結構化增量數據的字段是否匹配，包括：

將所述數據表中的時間戳字段的數值與所述結構化增量數據的時間戳字段的數值進行對比；

若所述數據表中的時間戳字段的數值大于等于所述結構化增量數據的時間戳字段的數值，則判定所述數據表中的數據列字段與所述結構化增量數據的字段不匹配；

若所述數據表中的時間戳字段的數值小于所述結構化增量數據的時間戳字段的數值，則將所述數據表中的維度列字段與所述結構化增量數據的標簽字段進行對比；

若所述數據表中的維度列字段與所述結構化增量數據的標簽字段不一致，則判定所述數據表中的數據列字段與所述結構化增量數據的字段不匹配；