[發(fā)明專利]基于時序數(shù)據(jù)的數(shù)據(jù)處理方法、裝置、電子設備及可讀存儲介質

有效

• 申請?zhí)枺?/td>: 202110753537.5
• 申請日: 2021-07-02
• 公開（公告）號: CN113360505B
• 公開（公告）日: 2023-09-26
• 發(fā)明（設計）人: 敖毅波;黃亞兵;陳陽;林開賢;鄧晟;沈志勇
• 申請（專利權）人: 招商局金融科技有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/245;G06F16/25
• 代理公司: 深圳市沃德知識產權代理事務所(普通合伙) 44347
• 代理人: 高杰;于志光

本發(fā)明涉及數(shù)據(jù)處理領域，揭露一種基于時序數(shù)據(jù)的數(shù)據(jù)處理方法，包括：對獲取到的時序數(shù)據(jù)執(zhí)行數(shù)據(jù)結構化處理，得到結構化時序數(shù)據(jù)；在預構建的時序數(shù)據(jù)庫中創(chuàng)建數(shù)據(jù)表，并將所述結構化時序數(shù)據(jù)寫入所述數(shù)據(jù)表中；解析采集到的增量數(shù)據(jù)，得到所述增量數(shù)據(jù)的字段；提取所述數(shù)據(jù)表中的數(shù)據(jù)列字段，判斷所述數(shù)據(jù)表中的數(shù)據(jù)列字段與所述結構化增量數(shù)據(jù)的字段是否匹配；當所述數(shù)據(jù)列字段與所述增量數(shù)據(jù)的字段不匹配時，根據(jù)所述增量數(shù)據(jù)的字段對所述數(shù)據(jù)列字段執(zhí)行增添操作，并將所述增量數(shù)據(jù)寫入至新增添的數(shù)據(jù)列。本發(fā)明還提出一種基于時序數(shù)據(jù)的數(shù)據(jù)處理裝置、設備以及存儲介質。本發(fā)明可以提高時序數(shù)據(jù)的一致性以及減少了時序數(shù)據(jù)存儲的失敗率。

技術領域

本發(fā)明涉及數(shù)據(jù)處理領域，尤其涉及一種基于時序數(shù)據(jù)的數(shù)據(jù)處理方法、裝置、電子設備及可讀存儲介質。

背景技術

隨著大數(shù)據(jù)時代的到來，時序數(shù)據(jù)的運用越來越多，如何讓時序數(shù)據(jù)在存儲之前保持一致性變得尤為重要，目前常見的對時序數(shù)據(jù)的數(shù)據(jù)處理通常只是簡單地將時序數(shù)據(jù)存儲至數(shù)據(jù)庫中，并不能保證存儲至所述數(shù)據(jù)庫中的時序數(shù)據(jù)是否一致，容易出現(xiàn)當用戶使用時序數(shù)據(jù)時出現(xiàn)錯誤并造成嚴重損失的情況。

發(fā)明內容

本發(fā)明提供一種基于時序數(shù)據(jù)的數(shù)據(jù)處理方法、裝置、電子設備及計算機可讀存儲介質，其主要目的在于提高時序數(shù)據(jù)的一致性以及減少了時序數(shù)據(jù)存儲的失敗率。

為實現(xiàn)上述目的，本發(fā)明提供的一種基于時序數(shù)據(jù)的數(shù)據(jù)處理方法，包括

獲取時序數(shù)據(jù)，并對所述時序數(shù)據(jù)執(zhí)行數(shù)據(jù)結構化處理，得到結構化時序數(shù)據(jù)；

在預構建的時序數(shù)據(jù)庫中創(chuàng)建數(shù)據(jù)表，并將所述結構化時序數(shù)據(jù)寫入所述數(shù)據(jù)表中；

實時采集增量數(shù)據(jù)，將所述增量數(shù)據(jù)執(zhí)行數(shù)據(jù)結構化處理，得到結構化增量數(shù)據(jù)，并解析所述結構化增量數(shù)據(jù)，得到所述結構化增量數(shù)據(jù)的字段；

提取所述數(shù)據(jù)表中的數(shù)據(jù)列字段，將所述數(shù)據(jù)表中的數(shù)據(jù)列字段與所述結構化增量數(shù)據(jù)的字段進行對比校驗，并判斷所述數(shù)據(jù)表中的數(shù)據(jù)列字段與所述結構化增量數(shù)據(jù)的字段是否匹配；

若所述數(shù)據(jù)表中的數(shù)據(jù)列字段與所述結構化增量數(shù)據(jù)的字段匹配，則將所述結構化增量數(shù)據(jù)寫入至所述數(shù)據(jù)表中對應的數(shù)據(jù)列中；

若所述數(shù)據(jù)表中的數(shù)據(jù)列字段與所述結構化增量數(shù)據(jù)的字段不匹配，則根據(jù)所述結構化增量數(shù)據(jù)的字段對所述數(shù)據(jù)表中的數(shù)據(jù)列字段執(zhí)行增添操作，并將所述結構化增量數(shù)據(jù)寫入至所述數(shù)據(jù)表中對應的數(shù)據(jù)列。

可選地，所述根據(jù)所述結構化增量數(shù)據(jù)的字段對所述數(shù)據(jù)表中的數(shù)據(jù)列字段執(zhí)行增添操作，包括：

獲取所述結構化增量數(shù)據(jù)的時間戳字段、維度列字段以及指標列字段；

基于所述結構化增量數(shù)據(jù)的時間戳字段、維度列字段以及指標列字段，利用預設的結構化查詢語言在所述數(shù)據(jù)表中中創(chuàng)建所述結構化增量數(shù)據(jù)對應的數(shù)據(jù)列字段。

可選地，所述判斷所述數(shù)據(jù)表中的數(shù)據(jù)列字段與所述結構化增量數(shù)據(jù)的字段是否匹配，包括：

將所述數(shù)據(jù)表中的時間戳字段的數(shù)值與所述結構化增量數(shù)據(jù)的時間戳字段的數(shù)值進行對比；

若所述數(shù)據(jù)表中的時間戳字段的數(shù)值大于等于所述結構化增量數(shù)據(jù)的時間戳字段的數(shù)值，則判定所述數(shù)據(jù)表中的數(shù)據(jù)列字段與所述結構化增量數(shù)據(jù)的字段不匹配；

若所述數(shù)據(jù)表中的時間戳字段的數(shù)值小于所述結構化增量數(shù)據(jù)的時間戳字段的數(shù)值，則將所述數(shù)據(jù)表中的維度列字段與所述結構化增量數(shù)據(jù)的標簽字段進行對比；

若所述數(shù)據(jù)表中的維度列字段與所述結構化增量數(shù)據(jù)的標簽字段不一致，則判定所述數(shù)據(jù)表中的數(shù)據(jù)列字段與所述結構化增量數(shù)據(jù)的字段不匹配；