[發明專利]一種基于Flink的實時計算方法及系統

有效

• 申請號: 202010197103.7
• 申請日: 2020-03-19
• 公開（公告）號: CN111382150B
• 公開（公告）日: 2023-08-18
• 發明（設計）人: 陳崢豪;毛冰沁;韋良
• 申請（專利權）人: 交通銀行股份有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/2455;G06F16/27;G06F9/54;G06Q20/40;G06Q40/04
• 代理公司: 上海科盛知識產權代理有限公司 31225
• 代理人: 丁云

1.一種基于Flink的實時計算方法，其特征在于，該方法包括如下步驟：

(1)實時數據的獲取：獲取用于計算的數據源至接入層，觸發實時計算；

(2)實時數據的清洗和分析處理：采用實時流計算引擎Flink對獲取的數據源進行實時的數據清洗和計算，聚合計算結果；

(3)實時計算結果持久化：對計算結果進行持久化并完成數據分發；

步驟(3)計算結果首先會存入統一的實時匯總數據層進行持久化，實時匯總數據層落地到Hadoop的Hbase上，然后再按不同的應用場景進行數據分發；

按不同的應用場景進行數據分發具體包括：

(a)計算結果數據集與原生數據相比沒有數量級上的變化且需要提供實時查詢，則該計算結果數據集保存到HBASE并向外提供數據服務；

(b)計算結果數據集與原生數據相比在數量上有明顯的增大且有準實時數據要求，則把計算結果數據集保存到Hadoop上的HDFS上，再通過Hadoop的離線計算與其他非埋點數據進行關聯，最后提供數據服務；

(c)計算結果數據集與原生數據相比在數量上有明顯的減少，則將計算結果數據集寫入關系型數據庫中，然后提供數據服務；

(d)計算結果數據集與原生數據相比在數量上有顯著的減少、計算結果數據集更新較快且數據服務訪問量頻繁，則將計算結果數據集保存到緩存數據庫中，然后提供數據服務；

(e)計算結果數據集具有實時預警推送需求，則通過KAFKA消息隊列向應用系統推送預警信息。

2.根據權利要求1所述的一種基于Flink的實時計算方法，其特征在于，步驟(1)實時數據的獲取包括兩種方式：

一、通過數據準實時復制工具和數據交換平臺從各源系統獲取數據源，進行數據持久化落地到實時明細數據層，再采用微批量的方式從持久層取出實時數據放入接入層；

二、通過KAFKA消息隊列的方式獲取數據源至接入層的KAFKA消息隊列中。

3.一種基于Flink的實時計算系統，其特征在于，該系統包括：

實時數據獲取模塊(1)：該模塊獲取用于計算的數據源至接入層，觸發實時計算；

實時數據清洗和分析處理模塊(2)：該模塊采用實時流計算引擎Flink對獲取的數據源進行實時的數據清洗和計算，聚合計算結果；

實時計算結果持久化模塊(3)：該模塊對計算結果進行持久化并完成數據分發；

所述的實時計算結果持久化模塊(3)包括：

持久化操作子模塊(31)：該子模塊將計算結果存入統一的實時匯總數據層進行持久化，實時匯總數據層落地到Hadoop的Hbase上；

分發子模塊(32)：該子模塊用于將計算結果按不同的應用場景進行數據分發；

所述的分發子模塊(32)包括：

第一分發子模塊：該子模塊用于對計算結果數據集與原生數據相比沒有數量級上的變化且需要提供實時查詢的計算結果進行分發，該子模塊將相應的計算結果數據集保存到HBASE并向外提供數據服務；

第二分發子模塊：該子模塊用于對計算結果數據集與原生數據相比在數量上有明顯的增大且有準實時數據要求的計算結果進行分發，該子模塊將相應的計算結果數據集保存到Hadoop上的HDFS上，再通過Hadoop的離線計算與其他非埋點數據進行關聯，最后提供數據服務；

第三分發子模塊：該子模塊用于對計算結果數據集與原生數據相比在數量上有明顯的減少的計算結果進行分發，該子模塊將相應的計算結果數據集寫入關系型數據庫中，然后提供數據服務；

第四分發子模塊：該子模塊用于對計算結果數據集與原生數據相比在數量上有顯著的減少、計算結果數據集更新較快且數據服務訪問量頻繁的計算結果進行分發，該子模塊將相應的計算結果數據集保存到緩存數據庫中，然后提供數據服務；

第五分發子模塊：該子模塊用于對計算結果數據集具有實時預警推送需求的計算結果進行分發，該子模塊將相應的計算結果數據集通過KAFKA消息隊列向應用系統推送。

4.根據權利要求3所述的一種基于Flink的實時計算系統，其特征在于，所述的實時數據獲取模塊(1)包括：

第一實時數據獲取子模塊(11)：該子模塊通過數據準實時復制工具和數據交換平臺從各源系統獲取數據源，進行數據持久化落地到實時明細數據層，再采用微批量的方式從持久層取出實時數據放入接入層；

第二實時數據獲取子模塊(12)：該子模塊通過KAFKA消息隊列的方式獲取數據源至接入層的KAFKA消息隊列中。