[發(fā)明專利]基于時序數(shù)據(jù)的數(shù)據(jù)處理方法、裝置、電子設備及可讀存儲介質有效
| 申請?zhí)枺?/td> | 202110753537.5 | 申請日: | 2021-07-02 |
| 公開(公告)號: | CN113360505B | 公開(公告)日: | 2023-09-26 |
| 發(fā)明(設計)人: | 敖毅波;黃亞兵;陳陽;林開賢;鄧晟;沈志勇 | 申請(專利權)人: | 招商局金融科技有限公司 |
| 主分類號: | G06F16/22 | 分類號: | G06F16/22;G06F16/245;G06F16/25 |
| 代理公司: | 深圳市沃德知識產權代理事務所(普通合伙) 44347 | 代理人: | 高杰;于志光 |
| 地址: | 518000 廣東省深圳市福田區(qū)華富街*** | 國省代碼: | 廣東;44 |
| 權利要求書: | 查看更多 | 說明書: | 查看更多 |
| 摘要: | |||
| 搜索關鍵詞: | 基于 時序 數(shù)據(jù) 數(shù)據(jù)處理 方法 裝置 電子設備 可讀 存儲 介質 | ||
本發(fā)明涉及數(shù)據(jù)處理領域,揭露一種基于時序數(shù)據(jù)的數(shù)據(jù)處理方法,包括:對獲取到的時序數(shù)據(jù)執(zhí)行數(shù)據(jù)結構化處理,得到結構化時序數(shù)據(jù);在預構建的時序數(shù)據(jù)庫中創(chuàng)建數(shù)據(jù)表,并將所述結構化時序數(shù)據(jù)寫入所述數(shù)據(jù)表中;解析采集到的增量數(shù)據(jù),得到所述增量數(shù)據(jù)的字段;提取所述數(shù)據(jù)表中的數(shù)據(jù)列字段,判斷所述數(shù)據(jù)表中的數(shù)據(jù)列字段與所述結構化增量數(shù)據(jù)的字段是否匹配;當所述數(shù)據(jù)列字段與所述增量數(shù)據(jù)的字段不匹配時,根據(jù)所述增量數(shù)據(jù)的字段對所述數(shù)據(jù)列字段執(zhí)行增添操作,并將所述增量數(shù)據(jù)寫入至新增添的數(shù)據(jù)列。本發(fā)明還提出一種基于時序數(shù)據(jù)的數(shù)據(jù)處理裝置、設備以及存儲介質。本發(fā)明可以提高時序數(shù)據(jù)的一致性以及減少了時序數(shù)據(jù)存儲的失敗率。
技術領域
本發(fā)明涉及數(shù)據(jù)處理領域,尤其涉及一種基于時序數(shù)據(jù)的數(shù)據(jù)處理方法、裝置、電子設備及可讀存儲介質。
背景技術
隨著大數(shù)據(jù)時代的到來,時序數(shù)據(jù)的運用越來越多,如何讓時序數(shù)據(jù)在存儲之前保持一致性變得尤為重要,目前常見的對時序數(shù)據(jù)的數(shù)據(jù)處理通常只是簡單地將時序數(shù)據(jù)存儲至數(shù)據(jù)庫中,并不能保證存儲至所述數(shù)據(jù)庫中的時序數(shù)據(jù)是否一致,容易出現(xiàn)當用戶使用時序數(shù)據(jù)時出現(xiàn)錯誤并造成嚴重損失的情況。
發(fā)明內容
本發(fā)明提供一種基于時序數(shù)據(jù)的數(shù)據(jù)處理方法、裝置、電子設備及計算機可讀存儲介質,其主要目的在于提高時序數(shù)據(jù)的一致性以及減少了時序數(shù)據(jù)存儲的失敗率。
為實現(xiàn)上述目的,本發(fā)明提供的一種基于時序數(shù)據(jù)的數(shù)據(jù)處理方法,包括
獲取時序數(shù)據(jù),并對所述時序數(shù)據(jù)執(zhí)行數(shù)據(jù)結構化處理,得到結構化時序數(shù)據(jù);
在預構建的時序數(shù)據(jù)庫中創(chuàng)建數(shù)據(jù)表,并將所述結構化時序數(shù)據(jù)寫入所述數(shù)據(jù)表中;
實時采集增量數(shù)據(jù),將所述增量數(shù)據(jù)執(zhí)行數(shù)據(jù)結構化處理,得到結構化增量數(shù)據(jù),并解析所述結構化增量數(shù)據(jù),得到所述結構化增量數(shù)據(jù)的字段;
提取所述數(shù)據(jù)表中的數(shù)據(jù)列字段,將所述數(shù)據(jù)表中的數(shù)據(jù)列字段與所述結構化增量數(shù)據(jù)的字段進行對比校驗,并判斷所述數(shù)據(jù)表中的數(shù)據(jù)列字段與所述結構化增量數(shù)據(jù)的字段是否匹配;
若所述數(shù)據(jù)表中的數(shù)據(jù)列字段與所述結構化增量數(shù)據(jù)的字段匹配,則將所述結構化增量數(shù)據(jù)寫入至所述數(shù)據(jù)表中對應的數(shù)據(jù)列中;
若所述數(shù)據(jù)表中的數(shù)據(jù)列字段與所述結構化增量數(shù)據(jù)的字段不匹配,則根據(jù)所述結構化增量數(shù)據(jù)的字段對所述數(shù)據(jù)表中的數(shù)據(jù)列字段執(zhí)行增添操作,并將所述結構化增量數(shù)據(jù)寫入至所述數(shù)據(jù)表中對應的數(shù)據(jù)列。
可選地,所述根據(jù)所述結構化增量數(shù)據(jù)的字段對所述數(shù)據(jù)表中的數(shù)據(jù)列字段執(zhí)行增添操作,包括:
獲取所述結構化增量數(shù)據(jù)的時間戳字段、維度列字段以及指標列字段;
基于所述結構化增量數(shù)據(jù)的時間戳字段、維度列字段以及指標列字段,利用預設的結構化查詢語言在所述數(shù)據(jù)表中中創(chuàng)建所述結構化增量數(shù)據(jù)對應的數(shù)據(jù)列字段。
可選地,所述判斷所述數(shù)據(jù)表中的數(shù)據(jù)列字段與所述結構化增量數(shù)據(jù)的字段是否匹配,包括:
將所述數(shù)據(jù)表中的時間戳字段的數(shù)值與所述結構化增量數(shù)據(jù)的時間戳字段的數(shù)值進行對比;
若所述數(shù)據(jù)表中的時間戳字段的數(shù)值大于等于所述結構化增量數(shù)據(jù)的時間戳字段的數(shù)值,則判定所述數(shù)據(jù)表中的數(shù)據(jù)列字段與所述結構化增量數(shù)據(jù)的字段不匹配;
若所述數(shù)據(jù)表中的時間戳字段的數(shù)值小于所述結構化增量數(shù)據(jù)的時間戳字段的數(shù)值,則將所述數(shù)據(jù)表中的維度列字段與所述結構化增量數(shù)據(jù)的標簽字段進行對比;
若所述數(shù)據(jù)表中的維度列字段與所述結構化增量數(shù)據(jù)的標簽字段不一致,則判定所述數(shù)據(jù)表中的數(shù)據(jù)列字段與所述結構化增量數(shù)據(jù)的字段不匹配;
該專利技術資料僅供研究查看技術是否侵權等信息,商用須獲得專利權人授權。該專利全部權利屬于招商局金融科技有限公司,未經招商局金融科技有限公司許可,擅自商用是侵權行為。如果您想購買此專利、獲得商業(yè)授權和技術合作,請聯(lián)系【客服】
本文鏈接:http://www.szxzyx.cn/pat/books/202110753537.5/2.html,轉載請聲明來源鉆瓜專利網。
- 上一篇:婦科病檢查治療裝置
- 下一篇:一種基于ARM64的qemu虛擬機運行方法
- 數(shù)據(jù)顯示系統(tǒng)、數(shù)據(jù)中繼設備、數(shù)據(jù)中繼方法、數(shù)據(jù)系統(tǒng)、接收設備和數(shù)據(jù)讀取方法
- 數(shù)據(jù)記錄方法、數(shù)據(jù)記錄裝置、數(shù)據(jù)記錄媒體、數(shù)據(jù)重播方法和數(shù)據(jù)重播裝置
- 數(shù)據(jù)發(fā)送方法、數(shù)據(jù)發(fā)送系統(tǒng)、數(shù)據(jù)發(fā)送裝置以及數(shù)據(jù)結構
- 數(shù)據(jù)顯示系統(tǒng)、數(shù)據(jù)中繼設備、數(shù)據(jù)中繼方法及數(shù)據(jù)系統(tǒng)
- 數(shù)據(jù)嵌入裝置、數(shù)據(jù)嵌入方法、數(shù)據(jù)提取裝置及數(shù)據(jù)提取方法
- 數(shù)據(jù)管理裝置、數(shù)據(jù)編輯裝置、數(shù)據(jù)閱覽裝置、數(shù)據(jù)管理方法、數(shù)據(jù)編輯方法以及數(shù)據(jù)閱覽方法
- 數(shù)據(jù)發(fā)送和數(shù)據(jù)接收設備、數(shù)據(jù)發(fā)送和數(shù)據(jù)接收方法
- 數(shù)據(jù)發(fā)送裝置、數(shù)據(jù)接收裝置、數(shù)據(jù)收發(fā)系統(tǒng)、數(shù)據(jù)發(fā)送方法、數(shù)據(jù)接收方法和數(shù)據(jù)收發(fā)方法
- 數(shù)據(jù)發(fā)送方法、數(shù)據(jù)再現(xiàn)方法、數(shù)據(jù)發(fā)送裝置及數(shù)據(jù)再現(xiàn)裝置
- 數(shù)據(jù)發(fā)送方法、數(shù)據(jù)再現(xiàn)方法、數(shù)據(jù)發(fā)送裝置及數(shù)據(jù)再現(xiàn)裝置
- 數(shù)據(jù)處理設備,數(shù)據(jù)處理方法,和數(shù)據(jù)處理程序
- 數(shù)據(jù)處理電路、數(shù)據(jù)處理裝置、數(shù)據(jù)處理方法、數(shù)據(jù)處理控制方法
- 數(shù)據(jù)處理設備、數(shù)據(jù)處理方法和數(shù)據(jù)處理程序
- 數(shù)據(jù)處理裝置、數(shù)據(jù)處理方法及數(shù)據(jù)處理程序
- 數(shù)據(jù)處理裝置、數(shù)據(jù)處理方法及計算機可讀取的記錄介質
- 數(shù)據(jù)處理裝置、數(shù)據(jù)處理方法和數(shù)據(jù)處理程序
- 數(shù)據(jù)處理裝置、數(shù)據(jù)處理方法和數(shù)據(jù)處理程序
- 數(shù)據(jù)處理裝置、數(shù)據(jù)處理方法以及數(shù)據(jù)處理程序
- 數(shù)據(jù)處理裝置、數(shù)據(jù)處理方法以及數(shù)據(jù)處理程序
- 數(shù)據(jù)處理裝置、數(shù)據(jù)處理方法和數(shù)據(jù)處理程序





