[發(fā)明專利]一種時(shí)序數(shù)據(jù)庫(kù)的實(shí)時(shí)流數(shù)據(jù)處理方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202110611290.3
• 申請(qǐng)日: 2021-06-02
• 公開(kāi)（公告）號(hào): CN113051281A
• 公開(kāi)（公告）日: 2021-06-29
• 發(fā)明（設(shè)計(jì)）人: 鄔成博;譚壘;楊堯;胥莉君
• 申請(qǐng)（專利權(quán)）人: 成都四方偉業(yè)軟件股份有限公司
• 主分類號(hào): G06F16/23
• 分類號(hào): G06F16/23;G06F16/2453;G06F16/2458
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

1.一種時(shí)序數(shù)據(jù)庫(kù)的實(shí)時(shí)流數(shù)據(jù)處理方法，其特征在于，包括構(gòu)造緩沖區(qū)，緩沖區(qū)內(nèi)構(gòu)造多個(gè)Buffer，將實(shí)時(shí)數(shù)據(jù)寫(xiě)入到Buffer中，各個(gè)Buffer都單獨(dú)對(duì)其內(nèi)的實(shí)時(shí)數(shù)據(jù)進(jìn)行預(yù)處理后進(jìn)入時(shí)序數(shù)據(jù)庫(kù)。

2.根據(jù)權(quán)利要求1所述的一種時(shí)序數(shù)據(jù)庫(kù)的實(shí)時(shí)流數(shù)據(jù)處理方法，其特征在于，通過(guò)多個(gè)Buffer構(gòu)造Buffer鏈，Buffer鏈中各Buffer并發(fā)的處理其內(nèi)的實(shí)時(shí)數(shù)據(jù)。

3.根據(jù)權(quán)利要求2所述的一種時(shí)序數(shù)據(jù)庫(kù)的實(shí)時(shí)流數(shù)據(jù)處理方法，其特征在于，Buffer內(nèi)對(duì)實(shí)時(shí)數(shù)據(jù)進(jìn)行的預(yù)處理包括預(yù)計(jì)算、去重、排序、預(yù)寫(xiě)日志處理。

4.根據(jù)權(quán)利要求3所述的一種時(shí)序數(shù)據(jù)庫(kù)的實(shí)時(shí)流數(shù)據(jù)處理方法，其特征在于，預(yù)計(jì)算的具體過(guò)程為:根據(jù)用戶配置塊的最大存儲(chǔ)數(shù)據(jù)條數(shù)，對(duì)Buffer中的實(shí)時(shí)數(shù)據(jù)進(jìn)行分塊；然后對(duì)各塊中的數(shù)據(jù)進(jìn)行六種聚合計(jì)算，最后將聚合計(jì)算的結(jié)果寫(xiě)入時(shí)序數(shù)據(jù)庫(kù)的KV引擎中對(duì)應(yīng)的六張表中。

5.根據(jù)權(quán)利要求4所述的一種時(shí)序數(shù)據(jù)庫(kù)的實(shí)時(shí)流數(shù)據(jù)處理方法，其特征在于，聚合計(jì)算包括最大值、最小值、平均值、求和、求數(shù)據(jù)總條數(shù)、標(biāo)準(zhǔn)差。

6.根據(jù)權(quán)利要求3所述的一種時(shí)序數(shù)據(jù)庫(kù)的實(shí)時(shí)流數(shù)據(jù)處理方法，其特征在于，去重的具體過(guò)程為：Buffer中一條實(shí)時(shí)數(shù)據(jù)的所有標(biāo)簽列和時(shí)間戳為一個(gè)關(guān)鍵字，Buffer的實(shí)時(shí)數(shù)據(jù)中若兩條數(shù)據(jù)的關(guān)鍵字相同則認(rèn)為這兩條數(shù)據(jù)為重復(fù)數(shù)據(jù)，刪除位于前面的那一條數(shù)據(jù)。

7.根據(jù)權(quán)利要求3所述的一種時(shí)序數(shù)據(jù)庫(kù)的實(shí)時(shí)流數(shù)據(jù)處理方法，其特征在于，排序的具體過(guò)程如下：

S101、Buffer中一條數(shù)據(jù)的所有標(biāo)簽合并在一起作為關(guān)鍵字；

S102、然后Buffer的實(shí)時(shí)數(shù)據(jù)中將具有相同關(guān)鍵字的數(shù)據(jù)分為一組；

S103、對(duì)步驟S102中各組具有相同關(guān)鍵字的數(shù)據(jù)按時(shí)間戳列進(jìn)行排序。

8.根據(jù)權(quán)利要求3所述的一種時(shí)序數(shù)據(jù)庫(kù)的實(shí)時(shí)流數(shù)據(jù)處理方法，其特征在于，預(yù)寫(xiě)日志處理具體為：Buffer中實(shí)時(shí)數(shù)據(jù)未做任何操作前全部寫(xiě)入預(yù)寫(xiě)日志指定的表里。

9.一種時(shí)序數(shù)據(jù)庫(kù)的實(shí)時(shí)流數(shù)據(jù)處理裝置，其特征在于，包括

存儲(chǔ)器：用于存儲(chǔ)可執(zhí)行指令；

處理器：用于執(zhí)行所述存儲(chǔ)器中存儲(chǔ)的可執(zhí)行指令，實(shí)現(xiàn)如權(quán)利要求1-8任一項(xiàng)所述的一種時(shí)序數(shù)據(jù)庫(kù)的實(shí)時(shí)流數(shù)據(jù)處理方法。