[發明專利]一種基于sql的大數據實時計算方法

有效

• 申請號: 201910571391.5
• 申請日: 2019-06-28
• 公開（公告）號: CN110333941B
• 公開（公告）日: 2021-08-24
• 發明（設計）人: 李翔;裴寶山;祁潔;張夢龍
• 申請（專利權）人: 蘇寧消費金融有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48
• 代理公司: 南京鐘山專利代理有限公司 32252
• 代理人: 戴朝榮

1.一種基于sql的大數據實時計算方法，其特征在于：具體包括以下步驟：

(1)通過客戶端的web界面，創建計算集群，并將計算集群所需的運行資源參數保存至系統存儲介質中，計算集群創建完畢后，啟動新建的計算集群，資源管理器按照預先指定的資源隊列策略從數個節點中選擇一個作為任務管理器；

(2)客戶端選擇步驟(1)中的計算集群，并基于sql語句創建一個實時計算任務，同時在客戶端的web界面填寫啟動參數，語法解析模塊將基于Sql語句的實時計算任務抽象成AST抽象語法樹并解析獲取實時計算任務的運行參數，所述運行參數包括實時計算任務的源表定義、數據處理邏輯和數據窗口描述，語法解析模塊將運行參數傳輸至程序生成模塊，同時將實時計算任務的啟動參數和sql語句信息存儲至系統存儲介質中；

(3)程序生成模塊根據步驟(2)中獲取的運行參數，按照內部預先設置的計算邏輯生成可執行程序包和版本號信息，并將所述程序包保存在共享存儲器中；同時按照計算資源和權限信息生成所述程序包對應的執行參數，所述執行參數連同版本號信息一起保存至系統存儲介質中，等待客戶端調用；

(4)客戶端根據用戶需求在web界面選擇要運行的實時計算任務，并向平臺發送實時計算任務啟動指令，接收到指令后，共享存儲器和系統存儲介質分別將可執行程序包和啟動參數提交至步驟(1)中的任務管理器，任務管理器通過解析程序包獲取計算邏輯，并以有向無環數據結構的形式規劃最優計算路徑，同時任務管理器為路徑上的每個節點分配子任務管理器，當計算路徑規劃完成以及對應的子任務管理器啟動完畢，實時計算任務開始執行；

(5)執行實時計算任務時，將通過系統存儲介質中的源表定義和數據窗口描述從有向無環數據結構的第一個節點獲取數據，并將所述數據在有向無環計算路徑中的各個節點間傳遞，每個節點根據用戶定義的算子對數據進行過濾、拆分和聚合計算處理后，再傳遞給下一個節點；當到達有向無環數據結構的最后一個節點，數據落地至數據倉庫，實時計算任務完成。

2.根據權利要求1所述的一種大數據實時計算方法，其特征在于：所述步驟(1)中的集群所需運行資源參數包括資源隊列名稱、cpu個數以及所需內存量。

3.根據權利要求1所述的一種大數據實時計算方法，其特征在于：所述步驟(2)中的啟動參數包括計算資源、資源權限信息、任務名稱、日志存儲路徑和可執行程序包儲存路徑。

4.根據權利要求1所述的一種大數據實時計算方法，其特征在于：所述步驟(5)中在執行實時計算任務過程中，計算集群按照不同的實時計算任務聚合操作日志至給定的日志數據庫中，每條日志記錄使用任務唯一標識、記錄時間和日志級別信息作為唯一標識，同時子任務管理器也會實時上傳硬件運行信息以及軟件運行信息至日志數據庫，若超過用戶定義的報警規則，客戶端會以短信或者郵件向指定用戶告警，其中，告警規則包括告警用戶、告警信息模板、告警時間段、告警次數限制、監控指標以及對應閾值。

5.根據權利要求1所述的一種大數據實時計算方法，其特征在于：所述步驟(5)中的數據窗口描述表示實時任務獲取數據的策略。

6.根據權利要求1所述的一種大數據實時計算方法，其特征在于：在實時計算平臺運行中，權限控制分為兩部分，一部分是針對計算集群以及建立的實時計算任務的權限控制，在客戶端受基于OAuth2.0協議的權限管控，另一部分是針對后臺硬件資源的權限控制，依賴資源隊列以及網絡訪問限制實現。