[發(fā)明專利]基于時(shí)序數(shù)據(jù)的數(shù)據(jù)處理方法、裝置、電子設(shè)備及可讀存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110753537.5
• 申請(qǐng)日: 2021-07-02
• 公開（公告）號(hào): CN113360505B
• 公開（公告）日: 2023-09-26
• 發(fā)明（設(shè)計(jì)）人: 敖毅波;黃亞兵;陳陽(yáng);林開賢;鄧晟;沈志勇
• 申請(qǐng)（專利權(quán)）人: 招商局金融科技有限公司
• 主分類號(hào): G06F16/22
• 分類號(hào): G06F16/22;G06F16/245;G06F16/25
• 代理公司: 深圳市沃德知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44347
• 代理人: 高杰;于志光

1.一種基于時(shí)序數(shù)據(jù)的數(shù)據(jù)處理方法，其特征在于，所述方法包括：

獲取時(shí)序數(shù)據(jù)，并對(duì)所述時(shí)序數(shù)據(jù)執(zhí)行數(shù)據(jù)結(jié)構(gòu)化處理，得到結(jié)構(gòu)化時(shí)序數(shù)據(jù)，所述時(shí)序數(shù)據(jù)包括時(shí)間戳數(shù)據(jù)、指標(biāo)數(shù)據(jù)、標(biāo)簽數(shù)據(jù)，其中時(shí)間戳數(shù)據(jù)是一組有序的時(shí)間排列數(shù)據(jù)，指標(biāo)數(shù)據(jù)是跟隨時(shí)間戳變化而變化的數(shù)據(jù)，標(biāo)簽數(shù)據(jù)是描述時(shí)序數(shù)據(jù)類型的數(shù)據(jù)；

創(chuàng)建預(yù)構(gòu)建的時(shí)序數(shù)據(jù)庫(kù)的表結(jié)構(gòu)，在所述表結(jié)構(gòu)中插入數(shù)據(jù)點(diǎn)記錄、時(shí)間戳字段、維度列字段以及指標(biāo)列字段，得到數(shù)據(jù)表，并將所述結(jié)構(gòu)化時(shí)序數(shù)據(jù)寫入所述數(shù)據(jù)表中，其中，所述數(shù)據(jù)點(diǎn)記錄是所述表結(jié)構(gòu)中記錄數(shù)據(jù)的行，所述時(shí)間戳字段是所述表結(jié)構(gòu)中寫入時(shí)間戳數(shù)據(jù)的列，所述維度列字段是所述表結(jié)構(gòu)中寫入標(biāo)簽數(shù)據(jù)的列，所述指標(biāo)列是所述表結(jié)構(gòu)中寫入指標(biāo)數(shù)據(jù)的列；

實(shí)時(shí)采集增量數(shù)據(jù)，將所述增量數(shù)據(jù)執(zhí)行數(shù)據(jù)結(jié)構(gòu)化處理，得到結(jié)構(gòu)化增量數(shù)據(jù)，并解析所述結(jié)構(gòu)化增量數(shù)據(jù)，得到所述結(jié)構(gòu)化增量數(shù)據(jù)的字段；

提取所述數(shù)據(jù)表中的數(shù)據(jù)列字段，所述數(shù)據(jù)表中的數(shù)據(jù)列字段包含時(shí)間戳字段、指標(biāo)列字段以及維度列字段，將所述數(shù)據(jù)表中的數(shù)據(jù)列字段與所述結(jié)構(gòu)化增量數(shù)據(jù)的字段進(jìn)行對(duì)比校驗(yàn)，并判斷所述數(shù)據(jù)表中的數(shù)據(jù)列字段與所述結(jié)構(gòu)化增量數(shù)據(jù)的字段是否匹配；

若所述數(shù)據(jù)表中的數(shù)據(jù)列字段與所述結(jié)構(gòu)化增量數(shù)據(jù)的字段匹配，則將所述結(jié)構(gòu)化增量數(shù)據(jù)寫入至所述數(shù)據(jù)表中對(duì)應(yīng)的數(shù)據(jù)列中；

若所述數(shù)據(jù)表中的數(shù)據(jù)列字段與所述結(jié)構(gòu)化增量數(shù)據(jù)的字段不匹配，則根據(jù)所述結(jié)構(gòu)化增量數(shù)據(jù)的字段對(duì)所述數(shù)據(jù)表中的數(shù)據(jù)列字段執(zhí)行增添操作，并將所述結(jié)構(gòu)化增量數(shù)據(jù)寫入至所述數(shù)據(jù)表中對(duì)應(yīng)的數(shù)據(jù)列。

2.如權(quán)利要求1所述的基于時(shí)序數(shù)據(jù)的數(shù)據(jù)處理方法，其特征在于，所述根據(jù)所述結(jié)構(gòu)化增量數(shù)據(jù)的字段對(duì)所述數(shù)據(jù)表中的數(shù)據(jù)列字段執(zhí)行增添操作，包括：

獲取所述結(jié)構(gòu)化增量數(shù)據(jù)的時(shí)間戳字段、維度列字段以及指標(biāo)列字段；

基于所述結(jié)構(gòu)化增量數(shù)據(jù)的時(shí)間戳字段、維度列字段以及指標(biāo)列字段，利用預(yù)設(shè)的結(jié)構(gòu)化查詢語(yǔ)言在所述數(shù)據(jù)表中中創(chuàng)建所述結(jié)構(gòu)化增量數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)列字段。

3.如權(quán)利要求1所述的基于時(shí)序數(shù)據(jù)的數(shù)據(jù)處理方法，其特征在于，所述判斷所述數(shù)據(jù)表中的數(shù)據(jù)列字段與所述結(jié)構(gòu)化增量數(shù)據(jù)的字段是否匹配，包括：

將所述數(shù)據(jù)表中的時(shí)間戳字段的數(shù)值與所述結(jié)構(gòu)化增量數(shù)據(jù)的時(shí)間戳字段的數(shù)值進(jìn)行對(duì)比；

若所述數(shù)據(jù)表中的時(shí)間戳字段的數(shù)值大于等于所述結(jié)構(gòu)化增量數(shù)據(jù)的時(shí)間戳字段的數(shù)值，則判定所述數(shù)據(jù)表中的數(shù)據(jù)列字段與所述結(jié)構(gòu)化增量數(shù)據(jù)的字段不匹配；

若所述數(shù)據(jù)表中的時(shí)間戳字段的數(shù)值小于所述結(jié)構(gòu)化增量數(shù)據(jù)的時(shí)間戳字段的數(shù)值，則將所述數(shù)據(jù)表中的維度列字段與所述結(jié)構(gòu)化增量數(shù)據(jù)的標(biāo)簽字段進(jìn)行對(duì)比；

若所述數(shù)據(jù)表中的維度列字段與所述結(jié)構(gòu)化增量數(shù)據(jù)的標(biāo)簽字段不一致，則判定所述數(shù)據(jù)表中的數(shù)據(jù)列字段與所述結(jié)構(gòu)化增量數(shù)據(jù)的字段不匹配；

若所述數(shù)據(jù)表中的維度列字段與所述結(jié)構(gòu)化增量數(shù)據(jù)的標(biāo)簽字段一致，則判定所述數(shù)據(jù)表中的數(shù)據(jù)列字段與所述結(jié)構(gòu)化增量數(shù)據(jù)的字段匹配。

4.如權(quán)利要求1所述的基于時(shí)序數(shù)據(jù)的數(shù)據(jù)處理方法，其特征在于，所述對(duì)所述時(shí)序數(shù)據(jù)執(zhí)行數(shù)據(jù)結(jié)構(gòu)化處理，得到結(jié)構(gòu)化時(shí)序數(shù)據(jù)，包括：

獲取所述時(shí)序數(shù)據(jù)的數(shù)據(jù)類型；

根據(jù)所述數(shù)據(jù)類型，識(shí)別所述時(shí)序數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)，得到固定類型的數(shù)據(jù)結(jié)構(gòu)及無(wú)序類型的數(shù)據(jù)結(jié)構(gòu)；

對(duì)所述無(wú)序類型的數(shù)據(jù)結(jié)構(gòu)進(jìn)行逐級(jí)解析，得到結(jié)構(gòu)化數(shù)據(jù)；

匯總所述結(jié)構(gòu)化數(shù)據(jù)和所述固定類型的數(shù)據(jù)，得到結(jié)構(gòu)化時(shí)序數(shù)據(jù)。

5.如權(quán)利要求4所述的基于時(shí)序數(shù)據(jù)的數(shù)據(jù)處理方法，其特征在于，所述根據(jù)所述數(shù)據(jù)類型，識(shí)別所述時(shí)序數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)，得到固定類型的數(shù)據(jù)結(jié)構(gòu)及無(wú)序類型的數(shù)據(jù)結(jié)構(gòu)，包括：

根據(jù)所述數(shù)據(jù)類型，查詢所述時(shí)序數(shù)據(jù)的數(shù)據(jù)字段，判斷所述數(shù)據(jù)字段是否包含數(shù)據(jù)庫(kù)名以及表名；

若所述數(shù)據(jù)字段包含數(shù)據(jù)庫(kù)名以及表名，則定義所述數(shù)據(jù)結(jié)構(gòu)為固定類型的數(shù)據(jù)結(jié)構(gòu)；

若所述數(shù)據(jù)字段不包含數(shù)據(jù)庫(kù)名或表名，則定義所述數(shù)據(jù)結(jié)構(gòu)為無(wú)序類型的數(shù)據(jù)結(jié)構(gòu)。