[發(fā)明專利]大數(shù)據(jù)實(shí)時(shí)計(jì)算方法及平臺(tái)

在審

• 申請?zhí)枺?/td>: 202110206555.1
• 申請日: 2021-02-24
• 公開（公告）號(hào): CN112925619A
• 公開（公告）日: 2021-06-08
• 發(fā)明（設(shè)計(jì)）人: 李鵬
• 申請（專利權(quán)）人: 深圳依時(shí)貨拉拉科技有限公司
• 主分類號(hào): G06F9/48
• 分類號(hào): G06F9/48;G06F9/50
• 代理公司: 深圳瑞天謹(jǐn)誠知識(shí)產(chǎn)權(quán)代理有限公司 44340
• 代理人: 溫青玲

本發(fā)明提供一種大數(shù)據(jù)實(shí)時(shí)計(jì)算方法及平臺(tái)，該方法包括創(chuàng)建實(shí)時(shí)計(jì)算任務(wù)，并配置實(shí)時(shí)計(jì)算任務(wù)的任務(wù)信息，任務(wù)信息包括集群信息、數(shù)據(jù)源信息和數(shù)據(jù)存儲(chǔ)信息；根據(jù)集群信息分配實(shí)時(shí)計(jì)算任務(wù)到對應(yīng)的計(jì)算集群；將實(shí)時(shí)計(jì)算任務(wù)解析生成有向無環(huán)DAG圖，根據(jù)有向無環(huán)圖生成計(jì)算程序；計(jì)算集群申請資源并根據(jù)計(jì)算程序從數(shù)據(jù)源信息獲取數(shù)據(jù)執(zhí)行計(jì)算分析實(shí)時(shí)計(jì)算任務(wù)，并建立實(shí)時(shí)數(shù)據(jù)模型；根據(jù)存儲(chǔ)信息保存計(jì)算分析結(jié)果，并且分析結(jié)果可多次復(fù)用。本申請?jiān)趧?chuàng)建任務(wù)時(shí)配置數(shù)據(jù)源以獲取精準(zhǔn)數(shù)據(jù)，并根據(jù)業(yè)務(wù)需求配置計(jì)算集群執(zhí)行分析實(shí)時(shí)計(jì)算任務(wù)，通過數(shù)據(jù)建模，以使分析結(jié)果更加精準(zhǔn)，并且分析結(jié)果可多次復(fù)用，以恢復(fù)節(jié)點(diǎn)數(shù)據(jù)，異常時(shí)不必再從頭開始計(jì)算。

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)領(lǐng)域，具體涉及大數(shù)據(jù)實(shí)時(shí)計(jì)算分析領(lǐng)域，特別是涉及一種大數(shù)據(jù)實(shí)時(shí)計(jì)算方法以及實(shí)時(shí)計(jì)算平臺(tái)。

背景技術(shù)

隨著大數(shù)據(jù)的應(yīng)用場景越來越廣泛，離線的大數(shù)據(jù)分析和挖掘難以滿足用戶對各類業(yè)務(wù)實(shí)時(shí)反饋的訴求，在一些場景下，需要對不斷發(fā)生變化的數(shù)據(jù)進(jìn)行各種邏輯計(jì)算，以在較短的時(shí)間內(nèi)完成數(shù)據(jù)的統(tǒng)計(jì)、監(jiān)控和分析功能。大數(shù)據(jù)實(shí)時(shí)分析平臺(tái)應(yīng)運(yùn)而生，通過開發(fā)相應(yīng)的實(shí)時(shí)計(jì)算程序，開發(fā)實(shí)時(shí)分析平臺(tái)以滿足低延遲的數(shù)據(jù)分析和挖掘，從而支撐各類實(shí)時(shí)業(yè)務(wù)場景和系統(tǒng)。

常見的實(shí)時(shí)程序都是使用底層程序設(shè)計(jì)語言進(jìn)行開發(fā)，如C++語言、Java語言，主要是通過事先編寫好的實(shí)時(shí)分析程序去完成計(jì)算過程，也有部分采用SQL的方式去執(zhí)行一些簡單的分析任務(wù)，所有的任務(wù)都是通過加載配置好的數(shù)據(jù)源進(jìn)行分析，并將最終結(jié)果存入數(shù)據(jù)存儲(chǔ)以提供給業(yè)務(wù)端使用，其無法對實(shí)時(shí)數(shù)據(jù)做到更復(fù)雜的計(jì)算邏輯，并且計(jì)算分析過程的中間結(jié)果不能復(fù)用。

發(fā)明內(nèi)容

為了解決上述問題，本發(fā)明的目的是提供一種大數(shù)據(jù)實(shí)時(shí)計(jì)算方法及平臺(tái)，該方法在創(chuàng)建任務(wù)時(shí)配置數(shù)據(jù)源以獲取精準(zhǔn)數(shù)據(jù)，并根據(jù)業(yè)務(wù)需求配置計(jì)算集群執(zhí)行分析實(shí)時(shí)計(jì)算任務(wù)，并對實(shí)時(shí)數(shù)據(jù)建模，應(yīng)用多種算法進(jìn)行業(yè)務(wù)計(jì)算，以使分析結(jié)果更加精準(zhǔn)，并且分析結(jié)果可多次復(fù)用，以恢復(fù)節(jié)點(diǎn)數(shù)據(jù)，異常時(shí)不必再從頭開始計(jì)算。

基于此，本發(fā)明提供了一種大數(shù)據(jù)實(shí)時(shí)計(jì)算方法，所述大數(shù)據(jù)實(shí)時(shí)計(jì)算方法包括以下步驟：

創(chuàng)建實(shí)時(shí)計(jì)算任務(wù)，并配置實(shí)時(shí)計(jì)算任務(wù)的任務(wù)信息，所述任務(wù)信息包括集群信息、數(shù)據(jù)源信息和數(shù)據(jù)存儲(chǔ)信息；

根據(jù)所述集群信息分配所述實(shí)時(shí)計(jì)算任務(wù)到對應(yīng)的計(jì)算集群；

將所述實(shí)時(shí)計(jì)算任務(wù)解析生成有向無環(huán)DAG圖，并根據(jù)所述有向無環(huán)圖生成計(jì)算程序；

所述計(jì)算集群申請資源并根據(jù)所述計(jì)算程序從所述數(shù)據(jù)源信息獲取數(shù)據(jù)執(zhí)行計(jì)算分析所述實(shí)時(shí)計(jì)算任務(wù)，并建立實(shí)時(shí)數(shù)據(jù)模型；

根據(jù)所述存儲(chǔ)信息保存計(jì)算分析結(jié)果，并且所述分析結(jié)果可多次復(fù)用。

其中，所述創(chuàng)建實(shí)時(shí)計(jì)算任務(wù)，并配置實(shí)時(shí)計(jì)算任務(wù)的任務(wù)信息的步驟，包括：

所創(chuàng)建的所述實(shí)時(shí)計(jì)算任務(wù)可跨集群提交任務(wù)。

其中，所創(chuàng)建的所述實(shí)時(shí)計(jì)算任務(wù)是基于結(jié)構(gòu)化查詢語言SQL創(chuàng)建的。

其中，所述計(jì)算集群為多計(jì)算集群，每個(gè)所述計(jì)算集群根據(jù)按照業(yè)務(wù)邏輯分成獨(dú)立的集群。

其中，所述數(shù)據(jù)源信息和數(shù)據(jù)存儲(chǔ)信息包括至少一個(gè)數(shù)據(jù)源及至少一個(gè)存儲(chǔ)端信息。

其中，根據(jù)所述實(shí)時(shí)數(shù)據(jù)模型，對所述實(shí)時(shí)計(jì)算任務(wù)進(jìn)行指向性恢復(fù)。

其中，所述方法還包括：

采集并分析所述實(shí)時(shí)計(jì)算任務(wù)日志，提前預(yù)警任務(wù)異常狀態(tài)。

本發(fā)明還提供了一種大數(shù)據(jù)實(shí)時(shí)計(jì)算平臺(tái)，包括：任務(wù)創(chuàng)建模塊、計(jì)算集群、任務(wù)管理器、語法解析模塊、程序生成模塊和數(shù)據(jù)倉庫，所述實(shí)時(shí)計(jì)算平臺(tái)中各模塊間通信連接，其中