[發(fā)明專利]一種數(shù)據(jù)分析方法、系統(tǒng)、終端及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210504417.6
• 申請(qǐng)日: 2022-05-10
• 公開(kāi)（公告）號(hào): CN115048466A
• 公開(kāi)（公告）日: 2022-09-13
• 發(fā)明（設(shè)計(jì)）人: 張園;田舟賢;邵克華;李利椿;強(qiáng)琦
• 申請(qǐng)（專利權(quán)）人: 浙江吉利控股集團(tuán)有限公司;杭州優(yōu)行科技有限公司
• 主分類號(hào): G06F16/28
• 分類號(hào): G06F16/28;G06F16/27;G06F16/2453;G06F16/22;G06F9/50;G06F9/48
• 代理公司: 上海波拓知識(shí)產(chǎn)權(quán)代理有限公司 31264
• 代理人: 楊波

1.一種數(shù)據(jù)分析方法，其特征在于，包括：

獲取目標(biāo)對(duì)象的行為數(shù)據(jù)，并按照預(yù)設(shè)規(guī)則將所述行為數(shù)據(jù)存儲(chǔ)至ClickHouse集群；

獲取數(shù)據(jù)分析任務(wù)信息，并根據(jù)所述數(shù)據(jù)分析任務(wù)信息，對(duì)所述ClickHouse集群的各節(jié)點(diǎn)進(jìn)行任務(wù)調(diào)度，以使所述各節(jié)點(diǎn)的負(fù)載均衡；

根據(jù)任務(wù)調(diào)度安排，對(duì)所述各節(jié)點(diǎn)的行為數(shù)據(jù)進(jìn)行分析，生成數(shù)據(jù)分析產(chǎn)品。

2.如權(quán)利要求1所述的分析方法，其特征在于，按照預(yù)設(shè)規(guī)則將所述行為數(shù)據(jù)存儲(chǔ)至ClickHouse集群，包括：

根據(jù)所述目標(biāo)對(duì)象的身份標(biāo)識(shí)號(hào)，對(duì)所述行為數(shù)據(jù)進(jìn)行哈希分片，將各目標(biāo)對(duì)象的行為數(shù)據(jù)寫(xiě)入所述ClickHouse集群的對(duì)應(yīng)節(jié)點(diǎn)；

按照預(yù)設(shè)存儲(chǔ)模式，對(duì)所述各目標(biāo)對(duì)象的行為數(shù)據(jù)進(jìn)行存儲(chǔ)。

3.如權(quán)利要求2所述的分析方法，其特征在于，所述按照預(yù)設(shè)存儲(chǔ)模式，對(duì)所述各目標(biāo)對(duì)象的行為數(shù)據(jù)進(jìn)行存儲(chǔ)的步驟，包括：

將所述各目標(biāo)對(duì)象的行為數(shù)據(jù)按照三級(jí)索引順序進(jìn)行預(yù)排序；

其中，一級(jí)索引為所述行為數(shù)據(jù)的事件號(hào)；二級(jí)索引為所述行為數(shù)據(jù)所屬的目標(biāo)對(duì)象的身份標(biāo)識(shí)號(hào)；三級(jí)索引為所述行為數(shù)據(jù)的日志時(shí)間。

4.如權(quán)利要求1所述的分析方法，其特征在于，所述數(shù)據(jù)分析任務(wù)信息包括數(shù)據(jù)分析任務(wù)的任務(wù)類型；其中，所述任務(wù)類型包括事件統(tǒng)計(jì)、畫(huà)像分析、漏斗分析、行為路徑分析、表結(jié)構(gòu)變更、清理過(guò)期數(shù)據(jù)中的至少一項(xiàng)。

5.如權(quán)利要求1所述的分析方法，其特征在于，對(duì)所述ClickHouse集群的各節(jié)點(diǎn)進(jìn)行任務(wù)調(diào)度，包括以下至少一項(xiàng)：

根據(jù)任務(wù)執(zhí)行優(yōu)先級(jí)，按順序執(zhí)行不同類型的數(shù)據(jù)分析任務(wù)；

根據(jù)數(shù)據(jù)分析任務(wù)的任務(wù)類型，采取對(duì)應(yīng)的負(fù)載均衡策略，其中，所述負(fù)載均衡策略包括隨機(jī)、輪詢、最小負(fù)載。

6.如權(quán)利要求5所述的分析方法，其特征在于，根據(jù)數(shù)據(jù)分析任務(wù)的任務(wù)類型，執(zhí)行對(duì)應(yīng)的負(fù)載均衡策略，包括：

若所述任務(wù)類型為事件統(tǒng)計(jì)和/或畫(huà)像分析和/或漏斗分析和/或行為路徑分析，則采取最小負(fù)載策略；

若所述任務(wù)類型為表結(jié)構(gòu)變更，則采取隨機(jī)策略；

若所述任務(wù)類型為清理過(guò)期數(shù)據(jù)，則采取輪詢策略。

7.如權(quán)利要求1所述的分析方法，其特征在于，對(duì)所述ClickHouse集群的各節(jié)點(diǎn)進(jìn)行任務(wù)調(diào)度，還包括：

獲取數(shù)據(jù)分析任務(wù)的讀取行數(shù)及執(zhí)行時(shí)間；

在所述數(shù)據(jù)分析任務(wù)的讀取行數(shù)超過(guò)最大讀取行數(shù)，和/或所述數(shù)據(jù)分析任務(wù)的執(zhí)行時(shí)間超過(guò)最大執(zhí)行時(shí)間時(shí)，停止所述數(shù)據(jù)分析任務(wù)。

8.一種數(shù)據(jù)分析系統(tǒng)，其特征在于，所述分析系統(tǒng)包括數(shù)據(jù)寫(xiě)入模塊、數(shù)據(jù)存儲(chǔ)模塊、任務(wù)調(diào)度模塊、數(shù)據(jù)分析模塊；

所述數(shù)據(jù)寫(xiě)入模塊用于獲取目標(biāo)對(duì)象的行為數(shù)據(jù)，并按照第一預(yù)設(shè)規(guī)則將所述行為數(shù)據(jù)寫(xiě)入ClickHouse集群；

所述數(shù)據(jù)存儲(chǔ)模塊用于將寫(xiě)入所述ClickHouse集群的行為數(shù)據(jù)按照第二預(yù)設(shè)規(guī)則進(jìn)行存儲(chǔ)；

所述任務(wù)調(diào)度模塊用于獲取數(shù)據(jù)分析任務(wù)信息，并根據(jù)所述數(shù)據(jù)分析任務(wù)信息，對(duì)所述ClickHouse集群的各節(jié)點(diǎn)進(jìn)行任務(wù)調(diào)度，以使所述各節(jié)點(diǎn)的負(fù)載均衡；

所述數(shù)據(jù)分析模塊用于根據(jù)任務(wù)調(diào)度安排，對(duì)所述各節(jié)點(diǎn)的行為數(shù)據(jù)進(jìn)行分析，生成數(shù)據(jù)分析產(chǎn)品。

9.一種終端，其特征在于，所述終端包括存儲(chǔ)器、處理器以及存儲(chǔ)在所述存儲(chǔ)器中并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如權(quán)利要求1至7任一項(xiàng)所述分析方法的步驟。

10.一種存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至7任一項(xiàng)所述分析方法的步驟。