[發(fā)明專利]大數(shù)據(jù)實(shí)時(shí)計(jì)算方法及平臺(tái)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110206555.1
• 申請(qǐng)日: 2021-02-24
• 公開（公告）號(hào): CN112925619A
• 公開（公告）日: 2021-06-08
• 發(fā)明（設(shè)計(jì)）人: 李鵬
• 申請(qǐng)（專利權(quán)）人: 深圳依時(shí)貨拉拉科技有限公司
• 主分類號(hào): G06F9/48
• 分類號(hào): G06F9/48;G06F9/50
• 代理公司: 深圳瑞天謹(jǐn)誠(chéng)知識(shí)產(chǎn)權(quán)代理有限公司 44340
• 代理人: 溫青玲

1.一種大數(shù)據(jù)實(shí)時(shí)計(jì)算方法，其特征在于，包括以下步驟：

創(chuàng)建實(shí)時(shí)計(jì)算任務(wù)，并配置實(shí)時(shí)計(jì)算任務(wù)的任務(wù)信息，所述任務(wù)信息包括集群信息、數(shù)據(jù)源信息和數(shù)據(jù)存儲(chǔ)信息；

根據(jù)所述集群信息分配所述實(shí)時(shí)計(jì)算任務(wù)到對(duì)應(yīng)的計(jì)算集群；

將所述實(shí)時(shí)計(jì)算任務(wù)解析生成有向無(wú)環(huán)DAG圖，并根據(jù)所述有向無(wú)環(huán)圖生成計(jì)算程序；

所述計(jì)算集群申請(qǐng)資源并根據(jù)所述計(jì)算程序從所述數(shù)據(jù)源信息獲取數(shù)據(jù)執(zhí)行計(jì)算分析所述實(shí)時(shí)計(jì)算任務(wù)，并建立實(shí)時(shí)數(shù)據(jù)模型；

根據(jù)所述存儲(chǔ)信息保存計(jì)算分析結(jié)果，并且所述分析結(jié)果可多次復(fù)用。

2.根據(jù)權(quán)利要求1所述的大數(shù)據(jù)實(shí)時(shí)計(jì)算方法，其特征在于，所述創(chuàng)建實(shí)時(shí)計(jì)算任務(wù)，并配置實(shí)時(shí)計(jì)算任務(wù)的任務(wù)信息的步驟，包括：

所創(chuàng)建的所述實(shí)時(shí)計(jì)算任務(wù)可跨集群提交任務(wù)。

3.根據(jù)權(quán)利要求2所述的大數(shù)據(jù)實(shí)時(shí)計(jì)算方法，其特征在于，所創(chuàng)建的所述實(shí)時(shí)計(jì)算任務(wù)是基于結(jié)構(gòu)化查詢語(yǔ)言SQL創(chuàng)建的。

4.根據(jù)權(quán)利要求1所述的大數(shù)據(jù)實(shí)時(shí)計(jì)算方法，其特征在于，所述計(jì)算集群為多計(jì)算集群，每個(gè)所述計(jì)算集群根據(jù)按照業(yè)務(wù)邏輯分成獨(dú)立的集群。

5.根據(jù)權(quán)利要求1所述的大數(shù)據(jù)實(shí)時(shí)計(jì)算方法，其特征在于，所述數(shù)據(jù)源信息和數(shù)據(jù)存儲(chǔ)信息包括至少一個(gè)數(shù)據(jù)源及至少一個(gè)存儲(chǔ)端信息。

6.根據(jù)權(quán)利要求1所述的大數(shù)據(jù)實(shí)時(shí)計(jì)算方法，其特征在于，根據(jù)所述實(shí)時(shí)數(shù)據(jù)模型，對(duì)所述實(shí)時(shí)計(jì)算任務(wù)進(jìn)行指向性恢復(fù)。

7.根據(jù)權(quán)利要求1所述的大數(shù)據(jù)實(shí)時(shí)計(jì)算方法，其特征在于，所述方法還包括：

采集并分析所述實(shí)時(shí)計(jì)算任務(wù)日志，提前預(yù)警任務(wù)異常狀態(tài)。

8.一種大數(shù)據(jù)實(shí)時(shí)計(jì)算平臺(tái)，其特征在于，包括：任務(wù)創(chuàng)建模塊、計(jì)算集群、任務(wù)管理器、語(yǔ)法解析模塊、程序生成模塊和數(shù)據(jù)倉(cāng)庫(kù)，所述實(shí)時(shí)計(jì)算平臺(tái)中各模塊間通信連接，其中

所述任務(wù)創(chuàng)建模塊，用于創(chuàng)建實(shí)時(shí)計(jì)算任務(wù)，并配置實(shí)時(shí)計(jì)算任務(wù)的任務(wù)信息，所述任務(wù)信息包括集群信息、數(shù)據(jù)源信息和數(shù)據(jù)存儲(chǔ)信息；

所述任務(wù)管理器，用于根據(jù)所述集群信息分配所述實(shí)時(shí)計(jì)算任務(wù)到對(duì)應(yīng)的計(jì)算集群；

所述語(yǔ)法解析模塊解析生成所述實(shí)時(shí)計(jì)算任務(wù)的有向無(wú)環(huán)DAG圖，所述程序生成模塊根據(jù)所述有向無(wú)環(huán)圖生成計(jì)算程序；

所述計(jì)算集群申請(qǐng)資源并根據(jù)所述計(jì)算程序從所述數(shù)據(jù)源信息獲取數(shù)據(jù)執(zhí)行計(jì)算分析所述實(shí)時(shí)計(jì)算任務(wù)，并建立實(shí)時(shí)數(shù)據(jù)模型；

所述數(shù)據(jù)倉(cāng)庫(kù)，用于根據(jù)所述存儲(chǔ)信息保存計(jì)算分析結(jié)果，并且所述分析結(jié)果可多次復(fù)用。

9.根據(jù)權(quán)利要求8所述的大數(shù)據(jù)實(shí)時(shí)計(jì)算平臺(tái)，其特征在于，所述計(jì)算集群為多集群管理系統(tǒng)。

10.根據(jù)權(quán)利要求8或9所述的大數(shù)據(jù)實(shí)時(shí)計(jì)算平臺(tái)，其特征在于，所述實(shí)時(shí)計(jì)算平臺(tái)還包括日志管理模塊和預(yù)警模塊，所述日志管理模塊和預(yù)警模塊通信連接，所述日志管理模塊實(shí)時(shí)采集并挖掘分析所述實(shí)時(shí)計(jì)算平臺(tái)的各類日志，所述預(yù)警模塊對(duì)所述實(shí)時(shí)計(jì)算平臺(tái)的各類異常狀態(tài)提前預(yù)警。